V ironickom zvrate, ktorý podčiarkuje výzvy spojené s nasadzovaním umelej inteligencie v profesionálnom prostredí, spôsobila vlastná AI spoločnosti Anthropic – Claude – firme problémy na súde.
Vo štvrtok 15. mája 2025 sa právnička Ivana Dukanovic z kancelárie Latham & Watkins formálne ospravedlnila federálnemu súdu v severnej Kalifornii po tom, čo použila Claude na vygenerovanie právnej citácie obsahujúcej vymyslené informácie. Halucinovaná citácia sa objavila v prehlásení dátovej vedkyne Anthropic Olivie Chen, ktorá vystupovala ako odborná svedkyňa v prebiehajúcom spore spoločnosti s hudobnými vydavateľstvami.
Žalobu podali Universal Music Group, Concord a ABKCO, pričom tvrdia, že Anthropic zneužila chránené texty piesní na trénovanie svojho modelu Claude AI. Vydavatelia tvrdia, že AI bola trénovaná na textoch minimálne 500 piesní od interpretov ako Beyoncé, Rolling Stones či The Beach Boys bez riadneho povolenia.
Podľa súdnych dokumentov požiadala Dukanovic Claude o naformátovanie citácie k legitímnemu článku z časopisu The American Statistician, na ktorý sa Chen odvolávala. Claude síce uviedol správny názov časopisu, rok aj odkaz, no vymyslel si autorov a nepresný názov článku. Právnička pri „manuálnej kontrole citácie“ tieto chyby pred podaním neodhalila.
Súdkyňa Susan van Keulen vyjadrila nad incidentom vážne znepokojenie a poznamenala, že „je zásadný rozdiel medzi vynechanou citáciou a halucináciou generovanou AI“. V reakcii na to kancelária Latham & Watkins zaviedla „viacero úrovní dodatočnej kontroly“, aby podobným situáciám predišla.
Tento prípad sa tak zaradil k rastúcemu zoznamu incidentov s halucináciami AI v právnych konaniach. Začiatkom tohto mesiaca kalifornský sudca udelil dvom právnickým kanceláriám pokutu za predloženie „falošného AI-generovaného výskumu“ a nariadil im zaplatiť 31 100 dolárov na súdnych poplatkoch. V ďalšom nedávnom prípade bol právnik prepustený po tom, čo použil ChatGPT na vytvorenie falošných právnych citácií. Právni experti varujú, že AI nástroje môžu byť užitočné na brainstorming, no nemôžu nahradiť tradičný právny výskum a overovanie.
S rastúcim nasadzovaním AI v rôznych profesiách slúži tento incident ako varovanie pred limitmi technológie a zdôrazňuje kľúčový význam ľudskej kontroly – najmä v prostredí, kde sú presnosť a dôveryhodnosť zásadné, ako je súdna sieň.