Platform media sosial kini dibanjiri video yang dihasilkan AI yang menawarkan produk kesehatan meragukan, terutama pengobatan seksual yang belum terbukti, menciptakan lingkungan daring penuh tipu daya yang dirancang untuk memanipulasi konsumen rentan.
Peneliti dari Cornell Tech telah mendokumentasikan lonjakan avatar 'dokter AI' di TikTok yang mempromosikan pengobatan seksual meragukan, dengan beberapa video meraih jutaan penayangan. Video-video ini biasanya menampilkan pria berotot tanpa baju atau persona buatan AI yang menggunakan bahasa eufemistik untuk menghindari moderasi konten, serta mengarahkan pengguna untuk membeli suplemen dengan klaim yang dilebih-lebihkan atau sepenuhnya palsu.
Yang lebih mengkhawatirkan, alat AI yang berkembang pesat telah memungkinkan pembuatan deepfake yang meniru selebritas dan tokoh publik. Resemble AI, perusahaan asal Bay Area yang berspesialisasi dalam deteksi deepfake, telah mengidentifikasi banyak video di mana tokoh publik seperti Anthony Fauci dan aktor Robert De Niro serta Amanda Seyfried tampak mendukung pengobatan yang belum terbukti. Video manipulasi ini sering dibuat dengan memodifikasi konten yang sudah ada menggunakan suara buatan AI dan teknologi sinkronisasi bibir yang canggih.
"Seperti yang terlihat pada contoh ini, konten menyesatkan yang dihasilkan AI digunakan untuk memasarkan suplemen dengan klaim yang dilebih-lebihkan atau tidak terverifikasi, yang berpotensi membahayakan kesehatan konsumen," ujar Zohaib Ahmed, CEO Resemble AI, menyoroti kekhawatiran terhadap keselamatan konsumen akibat penipuan ini.
Komisi Perdagangan Federal Amerika Serikat (FTC) telah menanggapi ancaman yang berkembang ini dengan mengusulkan regulasi baru yang secara khusus menargetkan penipuan peniruan identitas berbasis AI. Pada Februari 2024, FTC menerbitkan pemberitahuan tambahan usulan peraturan yang akan melarang peniruan individu dalam perdagangan dan berpotensi memperluas tanggung jawab kepada platform AI yang secara sadar menyediakan alat yang digunakan dalam penipuan semacam itu.
"Penipu menggunakan alat AI untuk meniru individu dengan presisi yang menyeramkan dan dalam skala yang jauh lebih luas. Dengan meningkatnya penipuan berbasis kloning suara dan AI lainnya, melindungi masyarakat Amerika dari penipuan peniruan identitas menjadi lebih penting dari sebelumnya," kata Ketua FTC Lina M. Khan.
Kecepatan pembuatan video AI berdurasi pendek menghadirkan tantangan unik bagi moderasi konten, karena meskipun platform telah menghapus konten yang meragukan, versi serupa dengan cepat muncul kembali. Para peneliti menyebut situasi ini sebagai 'whack-a-mole' yang membutuhkan alat deteksi lebih canggih dan pendekatan regulasi baru untuk secara efektif melawan ancaman penipuan berbasis AI yang terus berkembang.