Sociale medieplatforme bliver oversvømmet af AI-genererede videoer, der markedsfører tvivlsomme sundhedsprodukter, især uprøvede seksuelle behandlinger, og skaber et online miljø fyldt med bedrag, som eksperter mener er designet til at manipulere sårbare forbrugere.
Forskere fra Cornell Tech har dokumenteret en stigning i 'AI-læge'-avatarer på TikTok, der promoverer tvivlsomme seksuelle midler, hvor nogle videoer opnår millioner af visninger. Disse videoer viser typisk muskuløse, afklædte mænd eller AI-genererede personer, der bruger eufemistisk sprog for at undgå indholdsmoderation og leder brugerne videre til køb af kosttilskud med overdrevne eller direkte opdigtede påstande.
Endnu mere bekymrende er det, at hurtigt udviklende AI-værktøjer nu muliggør skabelsen af deepfakes, der efterligner kendte personer og offentlige figurer. Resemble AI, et firma fra Bay Area, der specialiserer sig i deepfake-detektion, har identificeret adskillige videoer, hvor offentlige personer som Anthony Fauci og skuespillerne Robert De Niro og Amanda Seyfried tilsyneladende anbefaler uprøvede behandlinger. Disse manipulerede videoer skabes ofte ved at ændre eksisterende indhold med AI-genererede stemmer og avanceret lip-sync-teknologi.
"Som det ses i dette eksempel, bliver vildledende AI-genereret indhold brugt til at markedsføre kosttilskud med overdrevne eller uverificerede påstande, hvilket potentielt bringer forbrugernes sundhed i fare," udtaler Zohaib Ahmed, administrerende direktør for Resemble AI, og understreger de forbrugersikkerhedsmæssige bekymringer, disse svindelnumre medfører.
Federal Trade Commission har reageret på denne voksende trussel ved at foreslå nye regler, der specifikt retter sig mod AI-understøttet identitetssvindel. I februar 2024 offentliggjorde FTC en supplerende bekendtgørelse om forslag til lovgivning, der vil forbyde efterligning af personer i kommercielt øjemed og potentielt udvide ansvaret til AI-platforme, der bevidst stiller værktøjer til rådighed, som bruges i sådanne svindelnumre.
"Svindlere bruger AI-værktøjer til at efterligne personer med uhyggelig præcision og i langt større skala. Med stemmekloning og andre AI-drevne svindelnumre i stigning er det vigtigere end nogensinde at beskytte amerikanere mod identitetssvindel," siger FTC's formand Lina M. Khan.
Den hurtige produktion af korte AI-videoer skaber unikke udfordringer for indholdsmoderation, da næsten identiske versioner hurtigt dukker op igen, selv når platformene fjerner tvivlsomt indhold. Forskere påpeger, at dette skaber en 'whack-a-mole'-situation, der kræver mere avancerede detektionsværktøjer og nye reguleringsmetoder for effektivt at bekæmpe den voksende trussel fra AI-drevne svindelnumre.