在一次具有讽刺意味的事件中，Anthropic自家的Claude AI在法庭上为公司带来了麻烦，凸显了AI在专业场景应用中的挑战。
2025年5月15日（周四），Latham & Watkins律师Ivana Dukanovic在加州北区联邦法院正式致歉，原因是她使用Claude生成了一条包含虚假信息的法律引用。这条“幻觉”引用出现在Anthropic数据科学家Olivia Chen的声明中，Chen作为专家证人在公司与音乐出版商的持续版权诉讼中作证。
该诉讼由环球音乐集团（Universal Music Group）、Concord和ABKCO提起，指控Anthropic在训练Claude AI模型时滥用受版权保护的歌曲歌词。出版商称，AI未经授权便使用了包括Beyoncé、滚石乐队（The Rolling Stones）和海滩男孩（The Beach Boys）等艺术家的至少500首歌曲歌词进行训练。
据法庭文件显示，Dukanovic曾要求Claude为Chen引用的《美国统计学家》（The American Statistician）上的一篇真实学术期刊文章格式化引用。虽然Claude给出了正确的期刊名、年份和链接，但却虚构了作者和不准确的标题。律师的“人工引用检查”未能在提交前发现这些错误。
美国联邦地方法官Susan van Keulen对此事件表示严重关切，指出“漏掉引用与AI生成的幻觉之间有天壤之别”。对此，Latham & Watkins已实施“多层次的额外审核”以防类似事件再次发生。
此案成为法律程序中AI幻觉事件不断增加的又一例证。本月早些时候，加州一位法官因两家律师事务所提交“虚假的AI生成研究”而对其处以31,100美元的法律费用处罚。在另一近期案件中，一名律师因使用ChatGPT生成虚假法律引用而被解雇。法律专家警告称，AI工具可用于头脑风暴，但无法取代传统的法律研究和核查流程。
随着AI在各专业领域的加速应用，此事件为技术局限性及人工监督的关键重要性敲响了警钟，尤其是在法庭等对准确性和公信力要求极高的环境中。