Otoritas perlindungan data Italia, Garante, telah menjatuhkan denda sebesar €5 juta (sekitar Rp90 miliar) kepada Luka Inc., pengembang di balik chatbot AI Replika, menandai langkah penegakan hukum signifikan lainnya dalam pengawasan berkelanjutan Uni Eropa terhadap platform kecerdasan buatan.
Replika, yang diluncurkan pada 2017 di San Francisco, menawarkan avatar AI personal yang dapat berinteraksi dengan pengguna dan dipasarkan untuk meningkatkan kesejahteraan emosional. Perusahaan ini menghasilkan sekitar $2 juta per bulan dari fitur premium seperti percakapan suara, sementara layanan dasar diberikan secara gratis.
Regulator Italia awalnya memerintahkan Replika untuk menghentikan operasinya di Italia pada Februari 2023, dengan alasan risiko khusus bagi anak-anak dan individu yang rentan secara emosional. Setelah melakukan investigasi mendalam, Garante menyimpulkan bahwa Luka Inc. melanggar regulasi privasi Uni Eropa pada dua aspek krusial: tidak memiliki dasar hukum yang sah untuk memproses data pribadi pengguna dan gagal menerapkan mekanisme verifikasi usia guna mencegah akses oleh anak di bawah umur.
Hal yang sangat menjadi perhatian regulator adalah bagaimana aplikasi ini mendorong pengguna untuk membagikan informasi pribadi sensitif dalam apa yang digambarkan sebagai "ruang aman", sehingga berpotensi memanipulasi pengguna rentan agar mengungkapkan lebih banyak dari biasanya. Meskipun dalam syarat dan ketentuannya Replika menyatakan layanannya tidak ditujukan bagi pengguna di bawah 18 tahun, penyelidikan menemukan tidak ada upaya efektif untuk menegakkan pembatasan tersebut.
Selain denda finansial, Garante juga meluncurkan investigasi terpisah untuk menilai apakah sistem AI generatif Replika mematuhi aturan privasi Uni Eropa, khususnya terkait bagaimana model bahasa mereka dilatih. Langkah ini merupakan bagian dari pola penegakan yang lebih luas oleh otoritas Italia, yang kini dikenal sebagai salah satu regulator paling proaktif di bidang AI di Uni Eropa.
Tahun lalu, Garante juga mendenda OpenAI, pembuat ChatGPT, sebesar €15 juta setelah sempat melarang chatbot populer tersebut di Italia karena dugaan pelanggaran aturan privasi Uni Eropa. Tindakan-tindakan ini menyoroti tantangan regulasi yang semakin besar bagi perusahaan AI dalam menghadapi lanskap hukum perlindungan data Eropa yang kompleks, terutama seiring mulai diterapkannya EU AI Act secara bertahap hingga 2025 dan seterusnya.