In een ironische wending die de uitdagingen van AI-toepassing in professionele omgevingen benadrukt, heeft Anthropic's eigen Claude AI het bedrijf in de rechtszaal in de problemen gebracht.
Op donderdag 15 mei 2025 bood advocate Ivana Dukanovic van Latham & Watkins formeel haar excuses aan aan een federale rechtbank in Noord-Californië, nadat ze Claude had gebruikt om een juridische verwijzing te genereren die gefingeerde informatie bevatte. De gefantaseerde verwijzing verscheen in een verklaring van Anthropic-datawetenschapper Olivia Chen, die als deskundige optrad in de lopende auteursrechtenzaak van het bedrijf tegen muziekuitgevers.
De rechtszaak, aangespannen door Universal Music Group, Concord en ABKCO, stelt dat Anthropic zonder toestemming auteursrechtelijk beschermde songteksten heeft gebruikt om het Claude AI-model te trainen. De uitgevers beweren dat de AI werd getraind op teksten van minstens 500 nummers van artiesten als Beyoncé, The Rolling Stones en The Beach Boys, zonder de juiste toestemming.
Volgens rechtbankdocumenten vroeg Dukanovic aan Claude om een citaat te formatteren voor een legitiem academisch tijdschriftartikel uit The American Statistician, waar Chen naar had verwezen. Hoewel Claude de juiste naam van het tijdschrift, het jaartal en de link gaf, verzon het nep-auteurs en een onjuiste titel. De 'handmatige citatiecontrole' van de advocate wist deze fouten niet te onderscheppen voor indiening.
De Amerikaanse magistraatrechter Susan van Keulen uitte ernstige zorgen over het incident en merkte op dat er 'een wereld van verschil is tussen een gemiste verwijzing en een door AI gegenereerde hallucinatie'. Als reactie heeft Latham & Watkins 'meerdere extra controlemomenten' ingevoerd om soortgelijke voorvallen te voorkomen.
Deze zaak voegt zich bij een groeiende lijst van AI-hallucinaties in juridische procedures. Eerder deze maand werden in Californië twee advocatenkantoren gesanctioneerd wegens het indienen van 'nep AI-gegenereerd onderzoek', waarbij ze $31.100 aan proceskosten moesten betalen. In een ander recent geval werd een advocaat ontslagen nadat hij ChatGPT had gebruikt om valse juridische verwijzingen te genereren. Juridische experts waarschuwen dat AI-tools nuttig kunnen zijn voor brainstormen, maar traditionele juridische research en verificatie niet kunnen vervangen.
Nu de adoptie van AI in professionele sectoren versnelt, dient dit incident als een waarschuwing voor de beperkingen van de technologie en het cruciale belang van menselijke controle, vooral in omgevingen met hoge inzet zoals rechtszalen, waar nauwkeurigheid en geloofwaardigheid essentieel zijn.