Sosiaalisen median alustat ovat täyttyneet tekoälyn generoimista videoista, joissa kaupataan kyseenalaisia terveydenhoitotuotteita, erityisesti todistamattomia seksuaalihoitoja. Asiantuntijat kuvailevat tätä huijaustäyteistä verkkoympäristöä, jonka tarkoituksena on manipuloida haavoittuvia kuluttajia.
Cornell Techin tutkijat ovat havainneet TikTokissa 'tekoälylääkärien' avatarien määrän kasvaneen räjähdysmäisesti, kun nämä mainostavat epäilyttäviä seksuaalituotteita. Osa videoista on kerännyt miljoonia katselukertoja. Videoilla esiintyy usein lihaksikkaita, paidattomia miehiä tai tekoälyllä luotuja hahmoja, jotka käyttävät kiertoilmaisuja välttääkseen sisällön moderointia ja ohjaavat käyttäjiä ostamaan lisäravinteita liioitelluilla tai täysin keksityillä väitteillä.
Huolestuttavampaa on, että nopeasti kehittyvät tekoälytyökalut mahdollistavat syväväärennösten, joissa matkitaan julkkiksia ja julkisuuden henkilöitä. Bay Arealla toimiva Resemble AI, joka erikoistuu syväväärennösten tunnistamiseen, on löytänyt lukuisia videoita, joissa esimerkiksi Anthony Fauci sekä näyttelijät Robert De Niro ja Amanda Seyfried näyttävät mainostavan todistamattomia hoitoja. Näitä manipuloituja videoita luodaan muokkaamalla olemassa olevaa sisältöä tekoälyllä tuotetuilla äänillä ja kehittyneellä huulisynkronoinnilla.
"Kuten tästä esimerkistä nähdään, harhaanjohtavaa tekoälyllä tuotettua sisältöä käytetään lisäravinteiden markkinointiin liioitelluilla tai todentamattomilla väitteillä, mikä voi vaarantaa kuluttajien terveyden", sanoo Resemble AI:n toimitusjohtaja Zohaib Ahmed, korostaen huijausten aiheuttamia kuluttajaturvallisuuden riskejä.
Yhdysvaltain kuluttajansuojaviranomainen FTC on vastannut kasvavaan uhkaan ehdottamalla uusia säädöksiä, jotka kohdistuvat erityisesti tekoälyllä mahdollistettuun identiteettihuijaukseen. Helmikuussa 2024 FTC julkaisi lisäilmoituksen säädösehdotuksesta, joka kieltäisi yksityishenkilöiden esittämisen kaupallisessa toiminnassa ja voisi laajentaa vastuuta myös tekoälyalustoille, jotka tietoisesti tarjoavat tällaisiin huijauksiin käytettäviä työkaluja.
"Huijarit käyttävät tekoälytyökaluja matkien yksilöitä hämmästyttävällä tarkkuudella ja laajassa mittakaavassa. Äänikloonauksen ja muiden tekoälypohjaisten huijausten yleistyessä amerikkalaisten suojeleminen identiteettihuijauksilta on tärkeämpää kuin koskaan", sanoo FTC:n puheenjohtaja Lina M. Khan.
Nopeatahtinen tekoälyvideoiden tuotanto aiheuttaa ainutlaatuisia haasteita sisällön moderoinnille: vaikka alustat poistavat kyseenalaisia videoita, lähes identtiset versiot ilmestyvät nopeasti uudelleen. Tutkijoiden mukaan tämä luo "molemminpuolisen taistelun" tilanteen, joka vaatii entistä kehittyneempiä tunnistustyökaluja ja uudenlaisia sääntelykeinoja tekoälyhuijausten kasvavan uhan torjumiseksi.