В ироничном повороте, подчёркивающем сложности внедрения ИИ в профессиональную среду, собственный Claude AI компании Anthropic создал ей проблемы в суде.
В четверг, 15 мая 2025 года, адвокат Ивана Дюканович из Latham & Watkins официально извинилась перед федеральным судом Северной Калифорнии после того, как использовала Claude для генерации юридической ссылки, содержащей вымышленные сведения. Сфабрикованная ссылка появилась в заявлении дата-сайентиста Anthropic Оливии Чен, выступавшей в качестве эксперта в продолжающемся судебном споре компании с музыкальными издателями по поводу авторских прав.
Иск, поданный Universal Music Group, Concord и ABKCO, утверждает, что Anthropic неправомерно использовала защищённые авторским правом тексты песен для обучения своей модели Claude AI. Издатели заявляют, что ИИ обучался на текстах как минимум 500 песен исполнителей, включая Бейонсе, The Rolling Stones и The Beach Boys, без соответствующего разрешения.
Согласно судебным материалам, Дюканович попросила Claude отформатировать ссылку на реальную статью из научного журнала The American Statistician, на которую ссылалась Чен. Claude выдал правильное название журнала, год и ссылку, но при этом придумал несуществующих авторов и некорректное название статьи. «Ручная проверка ссылки» адвоката не выявила этих ошибок до подачи документов в суд.
Федеральный магистрат США Сьюзан ван Кёлен выразила серьёзную обеспокоенность инцидентом, отметив, что существует «огромная разница между пропущенной ссылкой и галлюцинацией, сгенерированной ИИ». В ответ Latham & Watkins внедрила «несколько дополнительных уровней проверки», чтобы предотвратить подобные случаи в будущем.
Этот случай пополнил растущий список инцидентов с «галлюцинациями» ИИ в судебной практике. Ранее в этом месяце судья в Калифорнии наложил санкции на две юридические фирмы за предоставление «фиктивных исследований, сгенерированных ИИ», обязав их выплатить $31 100 судебных издержек. В другом недавнем случае адвокат был уволен после того, как использовал ChatGPT для создания поддельных юридических ссылок. Эксперты предупреждают, что ИИ может быть полезным инструментом для поиска идей, но не способен заменить традиционные методы юридических исследований и проверки информации.
По мере ускорения внедрения ИИ в профессиональные сферы этот инцидент служит предостережением о технологических ограничениях и критической важности человеческого контроля, особенно в таких ответственных областях, как судебные процессы, где точность и достоверность имеют первостепенное значение.