Platform media sosial kini dibanjiri video yang dihasilkan AI yang mempromosikan produk kesihatan meragukan, terutamanya rawatan seksual yang tidak terbukti, mewujudkan persekitaran dalam talian yang penuh penipuan dan direka untuk memanipulasi pengguna yang mudah terpengaruh.
Penyelidik di Cornell Tech telah mendokumentasikan peningkatan avatar 'doktor AI' di TikTok yang mempromosikan rawatan seksual yang meragukan, dengan sesetengah video meraih jutaan tontonan. Video-video ini biasanya menampilkan lelaki berotot tanpa baju atau persona yang dihasilkan AI menggunakan bahasa berselindung untuk mengelak moderasi kandungan, mengarahkan pengguna membeli suplemen dengan dakwaan yang keterlaluan atau sepenuhnya direka-reka.
Lebih membimbangkan, alat AI yang berkembang pesat telah membolehkan penciptaan deepfake yang meniru selebriti dan tokoh awam. Resemble AI, sebuah firma di Bay Area yang pakar dalam pengesanan deepfake, telah mengenal pasti banyak video di mana tokoh awam seperti Anthony Fauci serta pelakon Robert De Niro dan Amanda Seyfried kelihatan menyokong rawatan yang tidak terbukti. Video manipulasi ini sering dihasilkan dengan mengubah kandungan sedia ada menggunakan suara yang dihasilkan AI dan teknologi penyegerakan bibir yang canggih.
"Seperti yang dilihat dalam contoh ini, kandungan yang dihasilkan AI secara mengelirukan digunakan untuk memasarkan suplemen dengan dakwaan yang keterlaluan atau tidak disahkan, sekali gus berpotensi membahayakan kesihatan pengguna," kata Zohaib Ahmed, Ketua Pegawai Eksekutif Resemble AI, menekankan kebimbangan keselamatan pengguna yang dibawa oleh penipuan ini.
Suruhanjaya Perdagangan Persekutuan (FTC) telah bertindak balas terhadap ancaman yang semakin meningkat ini dengan mencadangkan peraturan baharu yang khusus menyasarkan penipuan peniruan berasaskan AI. Pada Februari 2024, FTC menerbitkan notis tambahan cadangan penggubalan peraturan yang akan melarang peniruan individu dalam urusan perdagangan dan berpotensi memperluas liabiliti kepada platform AI yang secara sedar menyediakan alat yang digunakan dalam penipuan sedemikian.
"Penipu kini menggunakan alat AI untuk meniru individu dengan ketepatan yang menakutkan dan pada skala yang jauh lebih besar. Dengan penipuan menggunakan klon suara dan teknologi AI lain semakin meningkat, melindungi rakyat Amerika daripada penipuan peniruan adalah lebih kritikal berbanding sebelum ini," kata Pengerusi FTC, Lina M. Khan.
Kadar penghasilan video AI bentuk pendek yang begitu pantas menimbulkan cabaran unik kepada moderasi kandungan, kerana walaupun platform berjaya membuang kandungan meragukan, versi hampir sama akan segera muncul semula. Penyelidik menyatakan situasi ini mewujudkan keadaan 'whack-a-mole' yang memerlukan alat pengesanan lebih canggih dan pendekatan peraturan baharu untuk menangani ancaman penipuan berasaskan AI yang semakin berkembang.