社交媒体平台正被AI生成的视频所淹没，这些视频兜售可疑的健康产品，尤其是未经证实的性治疗方法，营造出一个充斥欺诈的网络环境，专门操控易受影响的消费者。
康奈尔科技的研究人员记录到，TikTok上出现了大量“AI医生”虚拟形象，推广有争议的性健康疗法，其中部分视频浏览量高达数百万。这些视频通常由健硕的赤膊男性或AI生成的人物出演，使用委婉措辞规避内容审核，引导用户购买补充剂，并夸大甚至完全捏造产品功效。
更令人担忧的是，快速发展的AI工具使得伪造名人和公众人物的深度伪造视频层出不穷。专注于深度伪造检测的湾区公司Resemble AI发现，安东尼·福奇、罗伯特·德尼罗和阿曼达·塞弗里德等公众人物被伪造出现在视频中，似乎为未经证实的疗法背书。这些被操纵的视频通常通过AI生成的声音和先进的唇形同步技术，对现有内容进行修改制作。
Resemble AI首席执行官Zohaib Ahmed表示：“正如这个案例所示，误导性的AI生成内容正在用于推广夸大或未经证实的补充剂声明，可能危及消费者健康。”他强调了这些骗局带来的消费者安全隐患。
针对这一日益严重的威胁，美国联邦贸易委员会（FTC）已提出新规，专门打击AI驱动的冒名欺诈。2024年2月，FTC发布了补充拟议规则通知，禁止在商业活动中冒充他人，并可能将责任扩大至明知其工具被用于此类骗局的AI平台。
FTC主席莉娜·M·汗表示：“诈骗者正在利用AI工具以惊人精度和更大规模冒充他人。随着语音克隆和其他AI驱动骗局的增加，保护美国人免受冒名欺诈的侵害比以往任何时候都更加重要。”
短视频AI内容的快速生成速度给内容审核带来了独特挑战，即使平台删除了可疑内容，几乎相同的新版本也会迅速出现。研究人员称，这造成了“打地鼠”式的困境，需要更先进的检测工具和创新的监管手段，才能有效应对AI驱动骗局日益增长的威胁。