소셜 미디어 플랫폼이 AI로 생성된 영상으로 넘쳐나고 있다. 특히 검증되지 않은 성 관련 치료제 등 의심스러운 건강 상품을 홍보하는 영상이 급증하면서, 전문가들은 취약한 소비자를 조작하기 위한 '기만으로 가득한 온라인 환경'이 조성되고 있다고 경고한다.
코넬테크 연구진은 틱톡에서 'AI 닥터' 아바타가 의심스러운 성 기능 개선법을 홍보하는 영상을 대거 포착했다. 일부 영상은 수백만 조회수를 기록했으며, 근육질의 상반신 노출 남성이나 AI로 생성된 가상 인물이 완곡한 표현으로 콘텐츠 검열을 피해가며, 과장되거나 완전히 조작된 주장으로 건강 보조제 구매를 유도한다.
더욱 우려스러운 점은, 빠르게 발전하는 AI 도구로 인해 유명인이나 공인을 사칭한 딥페이크 영상 제작이 가능해졌다는 것이다. 딥페이크 탐지 전문 기업 리셈블AI(Resemble AI)는 앤서니 파우치, 로버트 드 니로, 아만다 사이프리드 등 유명 인사가 검증되지 않은 치료제를 홍보하는 영상이 다수 발견됐다고 밝혔다. 이 영상들은 기존 콘텐츠를 AI로 생성한 음성과 정교한 립싱크 기술로 변조해 만들어진다.
리셈블AI의 최고경영자 조하이브 아흐메드는 "이 사례에서 볼 수 있듯, 허위·과장된 주장을 담은 AI 생성 콘텐츠가 건강 보조제 마케팅에 활용되면서 소비자 건강이 위협받고 있다"며 소비자 안전에 대한 우려를 표했다.
이에 미국 연방거래위원회(FTC)는 AI 기반 사칭 사기 대응을 위한 새로운 규제안을 제안했다. 2024년 2월, FTC는 상업적 목적의 개인 사칭을 금지하고, 사기 행위에 악용되는 AI 도구를 제공한 플랫폼에도 책임을 묻는 보완 규제안을 발표했다.
FTC 위원장 리나 M. 칸은 "사기범들이 AI 도구로 개인을 놀라울 정도로 정교하게, 그리고 대규모로 사칭하고 있다. 음성 복제 등 AI 기반 사기가 급증하는 상황에서, 미국인을 사칭 사기로부터 보호하는 것이 그 어느 때보다 중요하다"고 강조했다.
짧은 형식의 AI 영상이 빠르게 생성되는 만큼, 플랫폼이 문제 콘텐츠를 삭제해도 유사한 영상이 곧바로 재등장하는 등 콘텐츠 검열에 어려움이 크다. 연구진은 AI 기반 사기의 위협에 효과적으로 대응하려면 더욱 정교한 탐지 도구와 새로운 규제 접근이 필요하다고 지적했다.