Sociální sítě jsou zaplavovány videi generovanými umělou inteligencí, která propagují pochybné zdravotní produkty, zejména neověřené sexuální léčby, a vytvářejí tak podle odborníků prostředí plné klamů, jehož cílem je manipulovat zranitelnými spotřebiteli.
Výzkumníci z Cornell Tech zaznamenali nárůst avatarů 'AI lékařů' na TikToku, kteří propagují pochybné sexuální přípravky – některá z těchto videí mají miliony zhlédnutí. Typicky v nich vystupují svalnatí muži bez trička nebo AI generované osobnosti, které používají eufemistický jazyk, aby obešli moderaci obsahu, a navádějí uživatele k nákupu doplňků s přehnanými či zcela smyšlenými tvrzeními.
Ještě znepokojivější je rychlý vývoj AI nástrojů umožňujících tvorbu deepfake videí s napodobeninami celebrit a veřejně známých osobností. Společnost Resemble AI ze Silicon Valley, která se specializuje na detekci deepfake obsahu, identifikovala řadu videí, v nichž veřejné osobnosti jako Anthony Fauci či herci Robert De Niro a Amanda Seyfried zdánlivě podporují neověřené léčby. Tato zmanipulovaná videa vznikají úpravou existujícího obsahu pomocí AI generovaných hlasů a pokročilé technologie synchronizace rtů.
'Jak je vidět na tomto příkladu, klamavý obsah generovaný AI je využíván k propagaci doplňků s přehnanými nebo neověřenými tvrzeními, což může ohrozit zdraví spotřebitelů,' uvedl Zohaib Ahmed, generální ředitel Resemble AI, a upozornil na rizika těchto podvodů pro bezpečnost spotřebitelů.
Federální obchodní komise (FTC) na tuto rostoucí hrozbu reagovala návrhem nových regulací, které se zaměřují přímo na podvody s napodobováním osob prostřednictvím AI. V únoru 2024 FTC zveřejnila doplňující oznámení o navrhované úpravě pravidel, která by zakázala napodobování jednotlivců v obchodním styku a potenciálně rozšířila odpovědnost i na AI platformy, které vědomě poskytují nástroje využívané k těmto podvodům.
'Podvodníci využívají AI nástroje k napodobování osob s děsivou přesností a v mnohem větším rozsahu. S rostoucím počtem podvodů založených na klonování hlasu a dalších AI technologiích je ochrana Američanů před podvody s napodobováním důležitější než kdy dříve,' uvedla předsedkyně FTC Lina M. Khan.
Rychlost, s jakou vznikají krátká AI videa, představuje pro moderaci obsahu jedinečnou výzvu – i když platformy pochybné příspěvky odstraní, téměř totožné verze se rychle objeví znovu. Podle výzkumníků tak vzniká situace 'na kočku a myš', která vyžaduje sofistikovanější detekční nástroje a nové regulační přístupy k účinnému boji s rostoucí hrozbou AI podvodů.