Socialemediaplatforms worden overspoeld met door AI gegenereerde video's die dubieuze gezondheidsproducten aanprijzen, met name onbewezen seksuele behandelingen. Volgens experts ontstaat hierdoor een misleidende online omgeving die kwetsbare consumenten doelbewust manipuleert.
Onderzoekers van Cornell Tech signaleren een sterke toename van 'AI-dokter'-avatars op TikTok die twijfelachtige seksuele remedies promoten, waarbij sommige video's miljoenen keren bekeken worden. Deze video's tonen vaak gespierde, ontblote mannen of AI-gegenereerde personages die verhullende taal gebruiken om contentmoderatie te omzeilen en gebruikers aanzetten tot het kopen van supplementen met overdreven of volledig verzonnen claims.
Verontrustender is dat snel evoluerende AI-tools het mogelijk maken deepfakes te creëren waarin beroemdheden en publieke figuren worden geïmiteerd. Resemble AI, een bedrijf uit de Bay Area dat zich specialiseert in het opsporen van deepfakes, heeft talloze video's geïdentificeerd waarin publieke figuren als Anthony Fauci en acteurs Robert De Niro en Amanda Seyfried ogenschijnlijk onbewezen behandelingen aanprijzen. Deze gemanipuleerde video's worden vaak gemaakt door bestaand beeldmateriaal te bewerken met door AI gegenereerde stemmen en geavanceerde lip-sync-technologie.
"Zoals in dit voorbeeld te zien is, wordt misleidende AI-content ingezet om supplementen met overdreven of onbewezen claims te promoten, waardoor de gezondheid van consumenten mogelijk in gevaar komt," aldus Zohaib Ahmed, CEO van Resemble AI, die de zorgen over consumentenveiligheid onderstreept.
De Federal Trade Commission (FTC) heeft op deze groeiende dreiging gereageerd met nieuwe regelgeving die specifiek gericht is op AI-gestuurde fraude door imitatie. In februari 2024 publiceerde de FTC een aanvullend voorstel voor regelgeving die het imiteren van personen in de handel verbiedt en mogelijk ook AI-platforms aansprakelijk stelt die bewust tools leveren voor dergelijke fraude.
"Fraudeurs gebruiken AI-tools om individuen met angstaanjagende precisie en op veel grotere schaal te imiteren. Nu stemklonen en andere AI-gestuurde oplichting toenemen, is het beschermen van Amerikanen tegen imitatie-fraude belangrijker dan ooit," aldus FTC-voorzitter Lina M. Khan.
Het hoge tempo waarin korte AI-video's worden geproduceerd, vormt unieke uitdagingen voor contentmoderatie. Zelfs als platforms twijfelachtige content verwijderen, verschijnen er snel vrijwel identieke versies. Onderzoekers spreken van een 'whack-a-mole'-situatie die vraagt om geavanceerdere detectietools en nieuwe reguleringsmaatregelen om de groeiende dreiging van AI-gestuurde fraude effectief te bestrijden.