Les plateformes de médias sociaux sont inondées de vidéos générées par l’IA faisant la promotion de produits de santé douteux, en particulier des traitements sexuels non éprouvés, créant ainsi un environnement en ligne rempli de tromperies conçu pour manipuler les consommateurs vulnérables.
Des chercheurs de Cornell Tech ont documenté une explosion d’avatars de « médecins IA » sur TikTok faisant la promotion de remèdes sexuels contestables, certaines vidéos atteignant des millions de vues. Ces vidéos mettent généralement en scène des hommes musclés torse nu ou des personnages générés par l’IA utilisant un langage euphémique pour contourner la modération du contenu, dirigeant les utilisateurs vers l’achat de suppléments avec des affirmations exagérées ou complètement inventées.
Plus inquiétant encore, l’évolution rapide des outils d’IA a permis la création de deepfakes imitant des célébrités et des personnalités publiques. Resemble AI, une entreprise de la région de la baie de San Francisco spécialisée dans la détection de deepfakes, a identifié de nombreuses vidéos où des personnalités publiques comme Anthony Fauci et les acteurs Robert De Niro et Amanda Seyfried semblent approuver des traitements non éprouvés. Ces vidéos manipulées sont souvent créées en modifiant du contenu existant avec des voix générées par l’IA et une technologie avancée de synchronisation labiale.
« Comme on le voit dans cet exemple, du contenu trompeur généré par l’IA est utilisé pour promouvoir des suppléments avec des affirmations exagérées ou non vérifiées, ce qui peut mettre la santé des consommateurs en danger », a déclaré Zohaib Ahmed, PDG de Resemble AI, soulignant les préoccupations en matière de sécurité des consommateurs que suscitent ces arnaques.
La Federal Trade Commission a réagi à cette menace croissante en proposant de nouvelles réglementations ciblant spécifiquement la fraude par usurpation d’identité alimentée par l’IA. En février 2024, la FTC a publié un avis supplémentaire de proposition de réglementation qui interdirait l’usurpation d’identité de personnes dans le commerce et pourrait étendre la responsabilité aux plateformes d’IA qui fournissent sciemment des outils utilisés dans de telles arnaques.
« Les fraudeurs utilisent des outils d’IA pour usurper l’identité de personnes avec une précision troublante et à une échelle beaucoup plus grande. Avec la montée du clonage vocal et d’autres arnaques propulsées par l’IA, il est plus crucial que jamais de protéger les Américains contre la fraude par usurpation d’identité », a déclaré Lina M. Khan, présidente de la FTC.
Le rythme effréné de création de vidéos courtes générées par l’IA pose des défis uniques à la modération du contenu, car même lorsque les plateformes retirent du contenu douteux, des versions quasi identiques réapparaissent rapidement. Selon les chercheurs, cela crée une situation de « jeu de la taupe » qui nécessite des outils de détection plus sophistiqués et de nouvelles approches réglementaires pour lutter efficacement contre la menace croissante des arnaques alimentées par l’IA.