Sociálne siete sú zaplavované videami generovanými umelou inteligenciou, ktoré propagujú pochybné zdravotnícke produkty, najmä neoverené sexuálne liečby, čím vytvárajú podľa odborníkov online prostredie plné klamstiev a manipulácie zraniteľných spotrebiteľov.
Výskumníci z Cornell Tech zaznamenali nárast tzv. 'AI doktorov' na TikToku, ktorí propagujú otázne sexuálne prípravky. Niektoré z týchto videí dosahujú milióny videní a často v nich vystupujú svalnatí, polonahí muži alebo AI-generované postavy používajúce eufemistický jazyk na obchádzanie moderácie obsahu. Divákov následne navádzajú na kúpu doplnkov s prehnanými alebo úplne vymyslenými tvrdeniami.
Ešte znepokojujúcejšie je, že rýchlo sa vyvíjajúce AI nástroje umožňujú vytvárať deepfaky napodobňujúce celebrity a verejne známe osobnosti. Spoločnosť Resemble AI zo Silicon Valley, ktorá sa špecializuje na detekciu deepfake obsahu, identifikovala množstvo videí, kde verejné osobnosti ako Anthony Fauci či herci Robert De Niro a Amanda Seyfried zdanlivo podporujú neoverené liečby. Tieto zmanipulované videá vznikajú úpravou existujúceho obsahu pomocou AI-generovaných hlasov a pokročilej technológie synchronizácie pier.
„Ako vidíme na tomto príklade, zavádzajúci obsah generovaný AI sa používa na marketing doplnkov s prehnanými alebo neoverenými tvrdeniami, čo môže ohroziť zdravie spotrebiteľov,“ uviedol Zohaib Ahmed, generálny riaditeľ Resemble AI, pričom zdôraznil riziká týchto podvodov pre bezpečnosť spotrebiteľov.
Federálna obchodná komisia (FTC) reagovala na túto rastúcu hrozbu návrhom nových regulácií, ktoré sa zameriavajú špecificky na podvody s napodobňovaním osôb pomocou AI. Vo februári 2024 FTC zverejnila doplňujúce oznámenie o navrhovanej regulácii, ktorá by zakázala napodobňovanie jednotlivcov v obchodnej činnosti a potenciálne rozšírila zodpovednosť aj na AI platformy, ktoré vedome poskytujú nástroje na takéto podvody.
„Podvodníci využívajú AI nástroje na napodobňovanie osôb s desivou presnosťou a v oveľa väčšom rozsahu. S rastúcim počtom podvodov s klonovaním hlasu a iných AI-riadenej manipulácie je ochrana Američanov pred podvodmi s napodobňovaním dôležitejšia než kedykoľvek predtým,“ uviedla predsedníčka FTC Lina M. Khan.
Rýchlosť, s akou vznikajú krátke AI videá, predstavuje pre moderáciu obsahu jedinečné výzvy – aj keď platformy problematický obsah odstránia, takmer identické verzie sa rýchlo objavia znova. Výskumníci upozorňujú, že vzniká situácia „whack-a-mole“, ktorá si vyžaduje sofistikovanejšie detekčné nástroje a nové regulačné prístupy na efektívny boj s rastúcou hrozbou AI-poháňaných podvodov.