W ironicznym zwrocie akcji, który podkreśla wyzwania związane z wdrażaniem AI w środowiskach profesjonalnych, własny Claude AI firmy Anthropic przysporzył jej problemów w sądzie.
W czwartek, 15 maja 2025 roku, mecenas Ivana Dukanovic z kancelarii Latham & Watkins oficjalnie przeprosiła federalny sąd w Północnej Kalifornii po tym, jak użyła Claude do wygenerowania cytowania prawnego zawierającego zmyślone informacje. Zahalucynowane cytowanie pojawiło się w oświadczeniu złożonym przez Olivię Chen, data scientist Anthropic, która występowała jako biegła w toczącym się sporze o prawa autorskie z wydawcami muzycznymi.
Pozew, wniesiony przez Universal Music Group, Concord i ABKCO, zarzuca Anthropic nieuprawnione wykorzystanie chronionych prawem autorskim tekstów piosenek do trenowania modelu Claude AI. Wydawcy twierdzą, że AI była trenowana na tekstach co najmniej 500 utworów artystów takich jak Beyoncé, The Rolling Stones czy The Beach Boys bez odpowiedniej zgody.
Według dokumentów sądowych, Dukanovic poprosiła Claude o sformatowanie cytowania do prawdziwego artykułu naukowego z czasopisma The American Statistician, na który powoływała się Chen. Choć Claude podał poprawny tytuł czasopisma, rok i link, wymyślił fałszywych autorów oraz nieprawdziwy tytuł. „Ręczna weryfikacja cytowania” przeprowadzona przez prawniczkę nie wykryła tych błędów przed złożeniem dokumentu.
Sędzia federalna Susan van Keulen wyraziła poważne zaniepokojenie incydentem, zauważając, że „istnieje ogromna różnica między pominiętym cytowaniem a halucynacją wygenerowaną przez AI”. W odpowiedzi kancelaria Latham & Watkins wdrożyła „wielopoziomową dodatkową weryfikację”, by zapobiec podobnym przypadkom w przyszłości.
Ta sprawa dołącza do rosnącej listy incydentów związanych z halucynacjami AI w postępowaniach sądowych. Na początku tego miesiąca sędzia z Kalifornii ukarał dwie kancelarie grzywną za złożenie „fałszywych badań wygenerowanych przez AI”, nakazując im zapłatę 31 100 dolarów kosztów sądowych. W innym niedawnym przypadku prawnik został zwolniony po tym, jak użył ChatGPT do stworzenia fałszywych cytowań prawnych. Eksperci prawni ostrzegają, że narzędzia AI mogą być przydatne do burzy mózgów, ale nie zastąpią tradycyjnych metod badań i weryfikacji prawniczej.
W miarę jak wdrażanie AI przyspiesza w kolejnych branżach, ten incydent stanowi przestrogę dotyczącą ograniczeń technologii i kluczowego znaczenia ludzkiej kontroli, zwłaszcza w środowiskach o wysokiej stawce, takich jak sądy, gdzie dokładność i wiarygodność są najważniejsze.