I en ironisk drejning, der understreger udfordringerne ved at tage AI i brug i professionelle sammenhænge, har Anthropics egen Claude AI skabt problemer for virksomheden i retten.
Torsdag den 15. maj 2025 undskyldte advokat Ivana Dukanovic fra Latham & Watkins formelt over for en føderal domstol i det nordlige Californien, efter at have brugt Claude til at generere et juridisk citat, der indeholdt opdigtede oplysninger. Den hallucinerede reference optrådte i en erklæring fra Anthropics dataspecialist Olivia Chen, som fungerede som sagkyndig i virksomhedens igangværende ophavsretssag mod musikforlagene.
Sagsanlægget, som er anlagt af Universal Music Group, Concord og ABKCO, hævder, at Anthropic har misbrugt ophavsretligt beskyttede sangtekster til at træne sin Claude AI-model. Forlagene påstår, at AI'en er blevet trænet på tekster fra mindst 500 sange af kunstnere som Beyoncé, The Rolling Stones og The Beach Boys uden korrekt tilladelse.
Ifølge retsdokumenterne bad Dukanovic Claude om at formatere et citat til en legitim akademisk artikel fra The American Statistician, som Chen havde henvist til. Selvom Claude leverede den korrekte publikationstitel, årstal og link, opfandt AI'en falske forfattere og en upræcis titel. Advokatens 'manuelle citatkontrol' opdagede ikke disse fejl, før dokumentet blev indsendt.
Den amerikanske dommer Susan van Keulen udtrykte alvorlig bekymring over episoden og bemærkede, at der er 'en verden til forskel på et overset citat og en hallucination genereret af AI.' Som reaktion har Latham & Watkins indført 'flere ekstra lag af gennemgang' for at forhindre lignende hændelser.
Denne sag føjer sig til en voksende liste af AI-hallucinationer i retssager. Tidligere på måneden blev to advokatfirmaer i Californien sanktioneret for at indsende 'falsk AI-genereret forskning' og beordret til at betale 31.100 dollars i sagsomkostninger. I en anden nylig sag blev en advokat fyret efter at have brugt ChatGPT til at generere falske juridiske citater. Juridiske eksperter advarer om, at AI-værktøjer kan være nyttige til idéudvikling, men ikke kan erstatte traditionel juridisk research og verificering.
Efterhånden som AI udbredes i professionelle miljøer, tjener denne episode som en advarsel om teknologiens begrænsninger og det afgørende behov for menneskelig kontrol – især i højrisikomiljøer som retssale, hvor nøjagtighed og troværdighed er altafgørende.