I en ironisk vändning som belyser utmaningarna med AI i professionella miljöer har Anthropics egen Claude AI orsakat problem för företaget i domstol.
Torsdagen den 15 maj 2025 bad advokaten Ivana Dukanovic från Latham & Watkins formellt om ursäkt till en federal domstol i norra Kalifornien efter att ha använt Claude för att generera ett rättscitat som innehöll påhittad information. Det hallucinerade citatet återfanns i ett utlåtande från Anthropics datavetare Olivia Chen, som agerade expertvittne i företagets pågående upphovsrättstvist mot musikförlag.
Stämningen, som väckts av Universal Music Group, Concord och ABKCO, hävdar att Anthropic otillbörligt använde upphovsrättsskyddade sångtexter för att träna sin Claude AI-modell. Förlagen menar att AI:n tränades på texter från minst 500 låtar av artister som Beyoncé, The Rolling Stones och The Beach Boys utan korrekt tillstånd.
Enligt domstolshandlingarna bad Dukanovic Claude att formatera ett citat till en legitim vetenskaplig artikel från The American Statistician som Chen hade refererat till. Även om Claude angav rätt publikationstitel, årtal och länk, hittade AI:n på falska författare och en felaktig titel. Advokatens 'manuella citatgranskning' misslyckades med att upptäcka dessa fel innan inlämning.
Den amerikanska domaren Susan van Keulen uttryckte stor oro över händelsen och påpekade att det är 'en enorm skillnad mellan ett missat citat och en hallucination genererad av AI.' Som svar har Latham & Watkins infört 'flera nya granskningsnivåer' för att förhindra liknande misstag.
Fallet är det senaste i en växande rad incidenter där AI genererat hallucinationer i rättsliga sammanhang. Tidigare denna månad bötfällde en domare i Kalifornien två advokatbyråer för att ha lämnat in 'falsk AI-genererad forskning' och ålade dem att betala 31 100 dollar i rättegångskostnader. I ett annat nyligt fall fick en advokat sparken efter att ha använt ChatGPT för att skapa falska rättscitat. Juridiska experter varnar för att AI-verktyg kan vara användbara för idéarbete, men inte kan ersätta traditionell juridisk forskning och verifiering.
I takt med att AI-användningen ökar inom professionella områden fungerar denna incident som en varningssignal om teknikens begränsningar och vikten av mänsklig granskning – särskilt i högriskmiljöer som rättssalar där noggrannhet och trovärdighet är avgörande.