Les plateformes de réseaux sociaux sont submergées par des vidéos générées par intelligence artificielle faisant la promotion de produits de santé douteux, notamment des traitements sexuels non éprouvés, créant ainsi un environnement en ligne trompeur destiné à manipuler les consommateurs vulnérables.
Des chercheurs de Cornell Tech ont constaté une recrudescence d’avatars « médecins IA » sur TikTok vantant des remèdes sexuels contestables, certaines vidéos atteignant des millions de vues. Ces contenus mettent généralement en scène des hommes musclés torse nu ou des personnages générés par IA utilisant un langage euphémisé pour contourner la modération, incitant les utilisateurs à acheter des compléments alimentaires aux promesses exagérées, voire totalement inventées.
Plus inquiétant encore, l’évolution rapide des outils d’IA permet désormais de créer des deepfakes imitant des célébrités et des personnalités publiques. Resemble AI, une entreprise de la région de la baie de San Francisco spécialisée dans la détection de deepfakes, a identifié de nombreuses vidéos où des figures publiques comme Anthony Fauci, ou encore les acteurs Robert De Niro et Amanda Seyfried, semblent promouvoir des traitements non validés. Ces vidéos manipulées sont souvent réalisées à partir de contenus existants, modifiés grâce à des voix générées par IA et des technologies avancées de synchronisation labiale.
« Comme le montre cet exemple, des contenus trompeurs générés par IA sont utilisés pour commercialiser des compléments alimentaires aux promesses exagérées ou non vérifiées, mettant potentiellement en danger la santé des consommateurs », alerte Zohaib Ahmed, directeur général de Resemble AI, soulignant les risques que ces arnaques font peser sur la sécurité des utilisateurs.
Face à cette menace croissante, la Federal Trade Commission a proposé de nouvelles réglementations ciblant spécifiquement la fraude par usurpation d’identité facilitée par l’IA. En février 2024, la FTC a publié un avis complémentaire de projet de réglementation visant à interdire l’usurpation d’identité dans le commerce et à étendre potentiellement la responsabilité aux plateformes d’IA qui fourniraient sciemment des outils utilisés dans de telles escroqueries.
« Les fraudeurs utilisent des outils d’IA pour usurper l’identité de personnes avec une précision troublante et à une échelle inédite. Avec la montée en puissance du clonage vocal et d’autres arnaques pilotées par IA, protéger les Américains contre la fraude par usurpation d’identité n’a jamais été aussi crucial », a déclaré Lina M. Khan, présidente de la FTC.
La rapidité de production des vidéos courtes générées par IA pose des défis inédits en matière de modération : même lorsque les plateformes suppriment des contenus douteux, des versions quasi identiques réapparaissent aussitôt. Selon les chercheurs, cela crée une situation de « jeu du chat et de la souris » nécessitant des outils de détection plus sophistiqués et de nouvelles approches réglementaires pour lutter efficacement contre la menace grandissante des arnaques alimentées par l’IA.