Dalam sebuah ironi yang menyoroti tantangan adopsi AI di lingkungan profesional, Claude AI milik Anthropic justru menimbulkan masalah bagi perusahaan tersebut di pengadilan.
Pada Kamis, 15 Mei 2025, pengacara Ivana Dukanovic dari Latham & Watkins secara resmi meminta maaf kepada pengadilan federal California Utara setelah menggunakan Claude untuk menghasilkan kutipan hukum yang berisi informasi palsu. Kutipan halusinasi tersebut muncul dalam pernyataan tertulis dari ilmuwan data Anthropic, Olivia Chen, yang bertindak sebagai saksi ahli dalam sengketa hak cipta yang sedang berlangsung antara perusahaan dan para penerbit musik.
Gugatan yang diajukan oleh Universal Music Group, Concord, dan ABKCO ini menuduh Anthropic menyalahgunakan lirik lagu berhak cipta untuk melatih model Claude AI miliknya. Para penerbit mengklaim AI tersebut dilatih menggunakan lirik dari setidaknya 500 lagu milik artis seperti Beyoncé, the Rolling Stones, dan The Beach Boys tanpa izin yang semestinya.
Menurut dokumen pengadilan, Dukanovic meminta Claude untuk memformat kutipan dari artikel jurnal akademik sah yang diterbitkan di The American Statistician dan telah dirujuk oleh Chen. Meski Claude memberikan judul publikasi, tahun, dan tautan yang benar, AI tersebut justru menciptakan nama penulis dan judul yang palsu. Pemeriksaan kutipan secara manual oleh pengacara gagal mendeteksi kesalahan ini sebelum dokumen diajukan ke pengadilan.
Hakim Magistrat AS Susan van Keulen menyampaikan keprihatinan serius atas insiden ini, dengan menegaskan bahwa 'ada perbedaan besar antara kutipan yang terlewat dan halusinasi yang dihasilkan AI.' Sebagai tanggapan, Latham & Watkins telah menerapkan 'beberapa tingkat peninjauan tambahan' untuk mencegah kejadian serupa di masa mendatang.
Kasus ini menambah daftar insiden halusinasi AI dalam proses hukum yang terus bertambah. Awal bulan ini, seorang hakim di California menjatuhkan sanksi kepada dua firma hukum karena mengajukan 'riset hukum palsu hasil AI', dan memerintahkan mereka membayar biaya hukum sebesar $31.100. Dalam kasus lain yang baru-baru ini terjadi, seorang pengacara dipecat setelah menggunakan ChatGPT untuk membuat kutipan hukum palsu. Para ahli hukum memperingatkan bahwa alat AI mungkin bermanfaat untuk brainstorming, namun tidak dapat menggantikan riset hukum dan proses verifikasi tradisional.
Seiring percepatan adopsi AI di berbagai bidang profesional, insiden ini menjadi pengingat penting tentang keterbatasan teknologi dan pentingnya pengawasan manusia, terutama di lingkungan berisiko tinggi seperti ruang sidang di mana akurasi dan kredibilitas sangat krusial.