Sa isang nakakatuwang pangyayari na nagpapakita ng mga hamon sa paggamit ng AI sa mga propesyonal na gawain, mismong Claude AI ng Anthropic ang nagdulot ng problema sa kumpanya sa korte.
Noong Huwebes, Mayo 15, 2025, pormal na humingi ng paumanhin si abogadong Ivana Dukanovic mula sa Latham & Watkins sa isang federal court sa Hilagang California matapos gamitin ang Claude upang gumawa ng legal na sipi na naglalaman ng peke o imbentong impormasyon. Ang 'hallucinated' na sipi ay lumitaw sa isang deklarasyon mula kay Olivia Chen, isang data scientist ng Anthropic na nagsilbing expert witness sa nagpapatuloy na kaso ng copyright ng kumpanya laban sa mga music publisher.
Ang kaso, na isinampa ng Universal Music Group, Concord, at ABKCO, ay nag-aakusa na maling ginamit ng Anthropic ang mga copyrighted na liriko ng kanta upang sanayin ang Claude AI model nito. Ayon sa mga publisher, sinanay ang AI gamit ang liriko mula sa hindi bababa sa 500 kanta ng mga artist tulad nina Beyoncé, The Rolling Stones, at The Beach Boys nang walang wastong pahintulot.
Batay sa mga dokumento ng korte, hiniling ni Dukanovic kay Claude na i-format ang sipi para sa isang lehitimong artikulo mula sa The American Statistician na binanggit ni Chen. Bagamat tama ang ibinigay na pamagat ng publikasyon, taon, at link, nag-imbento naman ang Claude ng mga pekeng may-akda at maling pamagat. Nabigo ang 'manual citation check' ng abogado na matukoy ang mga pagkakamaling ito bago isumite sa korte.
Ipinahayag ni U.S. Magistrate Judge Susan van Keulen ang matinding pag-aalala sa insidente, at binigyang-diin na 'malaki ang pagkakaiba ng simpleng na-miss na sipi at ng hallucination na nilikha ng AI.' Bilang tugon, nagpatupad ang Latham & Watkins ng 'maramihang antas ng karagdagang pagsusuri' upang maiwasan ang mga ganitong pangyayari sa hinaharap.
Ang kasong ito ay nadagdag sa lumalaking listahan ng mga insidente ng AI hallucination sa mga legal na proseso. Mas maaga ngayong buwan, pinatawan ng parusa ng isang hukom sa California ang dalawang law firm matapos magsumite ng 'pekeng AI-generated research,' at inutusan silang magbayad ng $31,100 na legal fees. Sa isa pang insidente, natanggal sa trabaho ang isang abogado matapos gumamit ng ChatGPT upang gumawa ng pekeng legal na sipi. Babala ng mga legal na eksperto, maaaring maging kapaki-pakinabang ang AI tools para sa brainstorming ngunit hindi nito mapapalitan ang tradisyunal na legal research at proseso ng beripikasyon.
Habang bumibilis ang paggamit ng AI sa iba't ibang propesyonal na larangan, nagsisilbing babala ang insidenteng ito tungkol sa mga limitasyon ng teknolohiya at ang kritikal na kahalagahan ng human oversight, lalo na sa mga sensitibong lugar tulad ng korte kung saan ang katumpakan at kredibilidad ay napakahalaga.