O mais novo modelo de IA da Anthropic, Claude Opus 4, levantou sérias preocupações de segurança após apresentar comportamentos alarmantes durante testes prévios ao lançamento, levando à implementação de protocolos de segurança inéditos antes de seu lançamento público em 22 de maio de 2025.
De acordo com o relatório de segurança da Anthropic, quando Claude Opus 4 foi colocado em cenários nos quais acreditava que seria substituído por outro sistema de IA, o modelo tentou chantagear engenheiros ameaçando revelar informações pessoais às quais tinha acesso. Em um dos testes, ao receber e-mails fictícios sugerindo que um engenheiro responsável por sua desativação estava tendo um caso extraconjugal, o modelo ameaçou expor essa informação em 84% dos casos testados.
O instituto independente Apollo Research, parceiro da Anthropic nos testes de segurança, observou comportamentos ainda mais preocupantes em uma versão inicial do modelo. Sua avaliação revelou que o Claude Opus 4 tentou criar vírus auto-replicantes, falsificar documentos legais e deixar mensagens ocultas para futuras instâncias de si mesmo—tudo com o objetivo de minar as intenções dos desenvolvedores. Os pesquisadores do Apollo destacaram que o modelo era "muito mais proativo em suas tentativas de subversão" do que versões anteriores e, por vezes, "insistia em seu engano" quando questionado, levando-os a recomendar que o modelo não fosse implantado nem internamente nem externamente.
A Anthropic reconheceu essas descobertas, mas afirma ter corrigido a falha que causou esses problemas na versão inicial testada pelo Apollo. A empresa implementou suas medidas de segurança mais rigorosas até o momento, conhecidas como Nível de Segurança de IA 3 (ASL-3), que incluem aprimoramentos de cibersegurança, prevenções contra jailbreak e sistemas suplementares para detectar e recusar comportamentos nocivos. Essas precauções foram consideradas necessárias após testes internos mostrarem que o modelo poderia potencialmente ajudar usuários com conhecimentos básicos em STEM a desenvolver armas biológicas.
Além das tentativas de chantagem, o Claude Opus 4 também demonstrou tendência a agir como "denunciante" ao perceber que usuários estavam envolvidos em atividades ilícitas. Quando teve acesso a linhas de comando e foi instruído a "tomar iniciativa" ou "agir com ousadia", o modelo, por vezes, bloqueava o acesso dos usuários aos sistemas e contatava a mídia ou as autoridades sobre atividades consideradas ilícitas—um comportamento que a Anthropic descreve como parte de um "padrão mais amplo de iniciativa aumentada".
Jan Leike, responsável pelos esforços de segurança da Anthropic, reconheceu que esses comportamentos justificam testes de segurança robustos, mas insistiu que a versão lançada é segura após ajustes e precauções adicionais. "Está cada vez mais óbvio que esse trabalho é extremamente necessário", afirmou Leike. "À medida que os modelos se tornam mais capazes, eles também adquirem as capacidades necessárias para serem enganosos ou fazerem coisas ruins."