SNSプラットフォームは、AI生成動画による疑わしい健康商品、特に未証明の性的治療の宣伝で溢れかえっており、専門家はこれを「欺瞞に満ちたオンライン環境」と呼び、脆弱な消費者を操作するために設計されていると警鐘を鳴らしている。
コーネルテックの研究者は、TikTok上で「AIドクター」アバターが疑わしい性的治療法を宣伝する動画が急増していることを記録している。中には数百万回再生されているものもあり、筋肉質な上半身裸の男性やAI生成の人物が、コンテンツ監視を回避するため婉曲的な表現を用い、誇張または完全に捏造された効果を謳うサプリメント購入へとユーザーを誘導している。
さらに深刻なのは、急速に進化するAIツールによって、有名人や著名人になりすますディープフェイクの作成が可能になっている点だ。ディープフェイク検出を専門とするベイエリアの企業Resemble AIは、アンソニー・ファウチ氏や俳優のロバート・デ・ニーロ、アマンダ・サイフリッドらが未証明の治療法を推奨しているように見せかけた多数の動画を特定している。これらの動画は、既存映像にAI生成の音声や高度なリップシンク技術を組み合わせて作成されている。
Resemble AIのCEO、ゾハイブ・アーメド氏は「この事例のように、誤解を招くAI生成コンテンツが誇張または未検証の主張でサプリメントを宣伝するために使われており、消費者の健康リスクを高めている」と述べ、こうした詐欺がもたらす消費者安全への懸念を強調した。
米連邦取引委員会（FTC）は、この脅威の拡大を受け、AIを用いたなりすまし詐欺を標的とした新たな規制案を発表した。2024年2月、FTCは個人のなりすましを商取引で禁止し、こうした詐欺に利用されるツールを意図的に提供したAIプラットフォームにも責任を問う可能性のある補足規則案を公表した。
FTC委員長のリナ・M・カーン氏は「詐欺師はAIツールを使って個人を不気味なほど正確かつ大規模になりすましている。ボイスクローンや他のAI詐欺が増加する中、米国民をなりすまし詐欺から守ることはこれまで以上に重要だ」と述べている。
短尺AI動画の急速な生成ペースはコンテンツ監視に独自の課題をもたらしており、プラットフォームが問題のあるコンテンツを削除しても、ほぼ同じ内容の動画がすぐに再投稿される「モグラ叩き」状態になっている。研究者は、AI詐欺の脅威に効果的に対抗するには、より高度な検出ツールと新たな規制アプローチが必要だと指摘している。