AI 도입의 어려움을 단적으로 보여주는 아이러니한 사건이 앤트로픽의 법정에서 발생했다.
2025년 5월 15일(목), 로섬 앤 왓킨스의 변호사 이바나 두카노비치는 북부 캘리포니아 연방 법원에 공식 사과했다. 클로드 AI를 이용해 법률 인용문을 생성했는데, 그 인용문에 허위 정보가 포함되어 있었기 때문이다. 이 '환각' 인용문은 앤트로픽 데이터 과학자 올리비아 첸이 전문 증인으로 제출한 진술서에 포함됐다. 이 진술서는 음악 출판사들과의 저작권 소송에서 사용되었다.
이 소송은 유니버설 뮤직 그룹, 콘코드, ABKCO가 제기한 것으로, 앤트로픽이 클로드 AI 모델을 훈련시키는 과정에서 저작권이 있는 노래 가사를 무단으로 사용했다고 주장하고 있다. 출판사들은 비욘세, 롤링 스톤스, 비치 보이스 등 아티스트의 500곡 이상의 가사가 허가 없이 AI 학습에 활용됐다고 밝혔다.
법원 문서에 따르면, 두카노비치 변호사는 올리비아 첸이 참고한 미국 통계학회 학술지 논문의 인용문을 클로드 AI에게 포맷팅해달라고 요청했다. 클로드는 올바른 학술지명, 연도, 링크는 제공했지만, 저자와 논문 제목을 허위로 만들어냈다. 변호사는 '수동 인용문 검토' 과정에서 이 오류를 발견하지 못한 채 제출했다.
수잔 반 킬런 미국 연방 치안판사는 이번 사건에 대해 '단순한 인용 누락과 AI가 만들어낸 환각 사이에는 엄청난 차이가 있다'며 심각한 우려를 표명했다. 이에 로섬 앤 왓킨스는 유사 사례 방지를 위해 '여러 단계의 추가 검토 절차'를 도입했다고 밝혔다.
이번 사건은 법률 분야에서 AI 환각이 문제를 일으킨 또 하나의 사례로 기록됐다. 이달 초, 캘리포니아의 한 판사는 '허위 AI 생성 자료'를 제출한 두 로펌에 3만 1,100달러의 소송 비용을 부과하며 징계를 내렸다. 또 다른 사례에서는 변호사가 ChatGPT로 허위 인용문을 만들어 사용했다가 해고되기도 했다. 법률 전문가들은 AI 도구가 아이디어 구상에는 유용할 수 있지만, 전통적인 법률 조사와 검증 과정을 대체할 수 없다고 경고한다.
전문 영역에서 AI 도입이 가속화되는 가운데, 이번 사건은 기술의 한계와 특히 법정과 같이 정확성과 신뢰성이 중요한 환경에서 인간의 감독이 얼마나 중요한지 경고하는 사례가 되고 있다.