Dalam satu ironi yang menonjolkan cabaran penggunaan AI dalam persekitaran profesional, Claude AI milik Anthropic sendiri telah menimbulkan masalah kepada syarikat itu di mahkamah.
Pada Khamis, 15 Mei 2025, peguam Ivana Dukanovic dari Latham & Watkins secara rasmi memohon maaf kepada mahkamah persekutuan California Utara selepas menggunakan Claude untuk menjana satu rujukan undang-undang yang mengandungi maklumat rekaan. Rujukan yang dihasilkan secara 'halusinasi' itu muncul dalam deklarasi daripada saintis data Anthropic, Olivia Chen, yang bertindak sebagai saksi pakar dalam perbicaraan hak cipta syarikat tersebut dengan penerbit muzik.
Saman itu, yang difailkan oleh Universal Music Group, Concord, dan ABKCO, mendakwa Anthropic telah menyalahgunakan lirik lagu berhak cipta untuk melatih model Claude AI miliknya. Para penerbit mendakwa AI tersebut telah dilatih menggunakan lirik sekurang-kurangnya 500 lagu oleh artis seperti Beyoncé, The Rolling Stones, dan The Beach Boys tanpa kebenaran yang sewajarnya.
Menurut dokumen mahkamah, Dukanovic meminta Claude untuk memformat rujukan bagi satu artikel jurnal akademik sah dari The American Statistician yang dirujuk oleh Chen. Walaupun Claude memberikan tajuk penerbitan, tahun, dan pautan yang betul, ia telah mereka penulis palsu dan tajuk yang tidak tepat. 'Semakan rujukan secara manual' oleh peguam tersebut gagal mengesan kesilapan ini sebelum dihantar ke mahkamah.
Hakim Majistret AS, Susan van Keulen, melahirkan kebimbangan serius terhadap insiden ini, dengan menyatakan terdapat 'perbezaan besar antara rujukan yang terlepas dan halusinasi yang dijana oleh AI.' Sebagai tindak balas, Latham & Watkins telah melaksanakan 'beberapa peringkat semakan tambahan' untuk mengelakkan kejadian serupa.
Kes ini menambah kepada senarai insiden halusinasi AI yang semakin meningkat dalam prosiding undang-undang. Awal bulan ini, seorang hakim di California telah mengenakan hukuman ke atas dua firma guaman kerana mengemukakan 'penyelidikan palsu yang dijana AI', dan memerintahkan mereka membayar yuran guaman sebanyak $31,100. Dalam satu kes lain baru-baru ini, seorang peguam dipecat selepas menggunakan ChatGPT untuk menjana rujukan undang-undang palsu. Pakar undang-undang memberi amaran bahawa alat AI mungkin berguna untuk penjanaan idea, tetapi tidak boleh menggantikan proses penyelidikan dan pengesahan undang-undang tradisional.
Ketika penggunaan AI semakin pesat dalam pelbagai bidang profesional, insiden ini menjadi pengajaran penting tentang keterbatasan teknologi serta keperluan pengawasan manusia yang kritikal, terutamanya dalam persekitaran berisiko tinggi seperti mahkamah di mana ketepatan dan kredibiliti sangat mustahak.