Em uma reviravolta irônica que evidencia os desafios da adoção de IA em ambientes profissionais, o próprio Claude AI da Anthropic causou problemas para a empresa nos tribunais.
Na quinta-feira, 15 de maio de 2025, a advogada Ivana Dukanovic, do escritório Latham & Watkins, pediu desculpas formalmente a um tribunal federal do norte da Califórnia após utilizar o Claude para gerar uma citação jurídica que continha informações fabricadas. A citação inventada apareceu em uma declaração da cientista de dados Olivia Chen, da Anthropic, que atuava como perita no processo de direitos autorais movido por editoras musicais contra a empresa.
O processo, movido pela Universal Music Group, Concord e ABKCO, alega que a Anthropic utilizou letras de músicas protegidas por direitos autorais para treinar o modelo Claude AI. As editoras afirmam que a IA foi treinada com letras de pelo menos 500 músicas de artistas como Beyoncé, Rolling Stones e The Beach Boys, sem a devida autorização.
Segundo documentos judiciais, Dukanovic pediu ao Claude que formatasse a citação de um artigo acadêmico legítimo da revista The American Statistician, referenciado por Chen. Embora o Claude tenha fornecido corretamente o nome da publicação, o ano e o link, ele inventou autores e um título falsos. A 'checagem manual de citação' feita pela advogada não identificou esses erros antes da submissão ao tribunal.
A juíza Susan van Keulen expressou séria preocupação com o incidente, observando que existe 'uma diferença enorme entre uma citação ausente e uma alucinação gerada por IA'. Em resposta, o Latham & Watkins implementou 'múltiplos níveis adicionais de revisão' para evitar ocorrências semelhantes.
Este caso se soma a uma lista crescente de incidentes de alucinação de IA em processos judiciais. No início deste mês, um juiz da Califórnia sancionou dois escritórios de advocacia por apresentarem 'pesquisas falsas geradas por IA', ordenando o pagamento de US$ 31.100 em honorários advocatícios. Em outro caso recente, um advogado foi demitido após usar o ChatGPT para criar citações jurídicas falsas. Especialistas jurídicos alertam que ferramentas de IA podem ser úteis para brainstorming, mas não substituem a pesquisa jurídica tradicional e os processos de verificação.
Com a adoção acelerada da IA em diversos setores profissionais, este incidente serve como um alerta sobre as limitações da tecnologia e a importância fundamental da supervisão humana, especialmente em ambientes de alto risco como tribunais, onde precisão e credibilidade são essenciais.