Sociala medieplattformar översvämmas av AI-genererade videor som marknadsför tveksamma hälsoprodukter, särskilt obevisade sexuella behandlingar, vilket enligt experter skapar en vilseledande online-miljö utformad för att manipulera utsatta konsumenter.
Forskare vid Cornell Tech har dokumenterat en ökning av 'AI-läkare'-avatarer på TikTok som gör reklam för tvivelaktiga sexuella kurer, där vissa videor har fått miljontals visningar. Dessa videor visar ofta muskulösa, barbröstade män eller AI-genererade personligheter som använder eufemistiskt språk för att kringgå innehållsmoderering och leder användare till att köpa kosttillskott med överdrivna eller helt påhittade påståenden.
Än mer oroande är att snabbt utvecklande AI-verktyg möjliggör skapandet av djupfejkar som imiterar kändisar och offentliga personer. Resemble AI, ett företag i Bay Area som är specialiserat på att upptäcka djupfejkar, har identifierat många videor där offentliga personer som Anthony Fauci och skådespelarna Robert De Niro och Amanda Seyfried verkar stödja obevisade behandlingar. Dessa manipulerade videor skapas ofta genom att befintligt innehåll modifieras med AI-genererade röster och avancerad läpprörelseteknik.
"Som vi ser i detta exempel används vilseledande AI-genererat innehåll för att marknadsföra kosttillskott med överdrivna eller obevisade påståenden, vilket potentiellt kan äventyra konsumenters hälsa," säger Zohaib Ahmed, vd för Resemble AI, och lyfter fram de konsumentsäkerhetsrisker som dessa bluffar innebär.
Federal Trade Commission har svarat på detta växande hot genom att föreslå nya regler som specifikt riktar sig mot AI-baserat bedrägeri genom imitation. I februari 2024 publicerade FTC ett tilläggsförslag till regelverk som skulle förbjuda imitation av individer i kommersiella sammanhang och potentiellt utsträcka ansvaret till AI-plattformar som medvetet tillhandahåller verktyg som används i sådana bluffar.
"Bedragare använder AI-verktyg för att imitera individer med kuslig precision och i mycket större skala. Med röstkloning och andra AI-drivna bluffar på frammarsch är det viktigare än någonsin att skydda amerikaner mot imitationsbedrägerier," säger FTC:s ordförande Lina M. Khan.
Den snabba takten i produktionen av korta AI-videor innebär unika utmaningar för innehållsmoderering, eftersom nästan identiska versioner snabbt återkommer även när plattformar tar bort tveksamt innehåll. Forskare menar att detta skapar en "whack-a-mole"-situation som kräver mer sofistikerade upptäcktsverktyg och nya regulatoriska angreppssätt för att effektivt bekämpa det växande hotet från AI-drivna bluffar.