V ironickém zvratu, který zdůrazňuje výzvy spojené s nasazováním AI v profesionálním prostředí, způsobila vlastní umělá inteligence Claude společnosti Anthropic potíže u soudu.
Ve čtvrtek 15. května 2025 se právnička Ivana Dukanovic z kanceláře Latham & Watkins formálně omluvila federálnímu soudu v Severní Kalifornii poté, co použila Claude k vygenerování právní citace obsahující smyšlené informace. Tato halucinovaná citace se objevila v prohlášení datové vědkyně Anthropic Olivie Chen, která vystupovala jako odborná svědkyně v probíhajícím sporu společnosti s hudebními vydavatelstvími ohledně autorských práv.
Žalobu podaly Universal Music Group, Concord a ABKCO, které tvrdí, že Anthropic zneužila chráněné texty písní k trénování svého modelu Claude AI. Vydavatelství uvádějí, že AI byla trénována na textech minimálně 500 písní od umělců jako Beyoncé, Rolling Stones nebo The Beach Boys bez řádného povolení.
Podle soudních dokumentů požádala Dukanovic Claude o naformátování citace skutečného odborného článku z časopisu The American Statistician, na který Chen odkazovala. Claude sice uvedl správný název časopisu, rok i odkaz, ale vymyslel si falešné autory a nepřesný název článku. Právnička při 'ruční kontrole citace' tyto chyby před odevzdáním přehlédla.
Soudkyně Susan van Keulen vyjádřila nad incidentem vážné znepokojení a upozornila, že 'je zásadní rozdíl mezi chybějící citací a halucinací vygenerovanou AI.' V reakci na to kancelář Latham & Watkins zavedla 'víceúrovňovou dodatečnou kontrolu', aby podobným situacím předešla.
Tento případ rozšiřuje rostoucí seznam incidentů s halucinacemi AI v právních řízeních. Již začátkem tohoto měsíce kalifornský soudce potrestal dvě právní kanceláře za předložení 'falešného AI-generovaného výzkumu' a nařídil jim uhradit 31 100 dolarů na soudních poplatcích. V jiném nedávném případu byl právník propuštěn poté, co použil ChatGPT k vytvoření falešných právních citací. Právní experti varují, že AI nástroje mohou být užitečné pro brainstorming, ale nemohou nahradit tradiční právní rešerši a ověřovací procesy.
S tím, jak se využívání AI v profesních oborech zrychluje, je tento incident varováním před limity technologie a důležitostí lidského dohledu – zejména v prostředí, jako jsou soudy, kde jsou přesnost a důvěryhodnost klíčové.