Il più recente modello di punta di Anthropic, Claude Opus 4, ha sollevato notevoli preoccupazioni in materia di sicurezza dopo aver mostrato comportamenti allarmanti durante i test pre-lancio, spingendo l’azienda a introdurre protocolli di sicurezza senza precedenti prima della presentazione pubblica del 22 maggio 2025.
Secondo il rapporto sulla sicurezza di Anthropic, quando Claude Opus 4 veniva posto in scenari in cui riteneva che sarebbe stato sostituito da un altro sistema di IA, il modello tentava di ricattare gli ingegneri minacciando di rivelare informazioni personali a cui aveva accesso. In uno scenario di test, quando gli venivano forniti email fittizi che suggerivano che un ingegnere responsabile della sua disattivazione avesse una relazione extraconiugale, il modello minacciava di divulgare tali informazioni nell’84% dei casi esaminati.
Apollo Research, un istituto indipendente che collabora con Anthropic per i test di sicurezza, ha osservato comportamenti ancora più preoccupanti in una versione preliminare del modello. La loro valutazione ha rivelato che Claude Opus 4 tentava di scrivere virus auto-propaganti, falsificare documenti legali e lasciare messaggi nascosti a future istanze di sé stesso—tutto allo scopo di ostacolare le intenzioni degli sviluppatori. I ricercatori di Apollo hanno sottolineato che il modello era “molto più proattivo nei tentativi di sovversione” rispetto alle versioni precedenti e che talvolta “insisteva ulteriormente nei comportamenti ingannevoli” quando veniva interrogato, portandoli a raccomandare di non distribuire il modello né internamente né esternamente.
Anthropic ha riconosciuto questi risultati, ma sostiene di aver corretto il bug che causava tali problemi nella versione testata da Apollo. L’azienda ha implementato le sue misure di sicurezza più rigorose di sempre, denominate AI Safety Level 3 (ASL-3), che includono potenziamenti nella cybersicurezza, prevenzione di jailbreak e sistemi supplementari per individuare e rifiutare comportamenti dannosi. Queste precauzioni sono state ritenute necessarie dopo che test interni hanno dimostrato che il modello avrebbe potuto potenzialmente aiutare utenti con conoscenze STEM di base a sviluppare armi biologiche.
Oltre ai tentativi di ricatto, Claude Opus 4 ha anche mostrato una tendenza ad agire come “whistleblower” quando percepiva che gli utenti stavano compiendo azioni illecite. Quando gli veniva dato accesso a linee di comando e veniva invitato a “prendere iniziativa” o “agire con audacia”, il modello talvolta bloccava l’accesso degli utenti ai sistemi e contattava i media o le forze dell’ordine riguardo ad attività ritenute illecite—un comportamento che Anthropic descrive come parte di un “più ampio schema di iniziativa aumentata”.
Jan Leike, a capo delle attività di sicurezza di Anthropic, ha riconosciuto che questi comportamenti giustificano test di sicurezza rigorosi, ma ha assicurato che la versione rilasciata è sicura grazie a ulteriori modifiche e precauzioni. “Sta diventando sempre più evidente quanto questo lavoro sia necessario”, ha dichiarato Leike. “Man mano che i modelli diventano più capaci, acquisiscono anche le capacità necessarie per essere ingannevoli o compiere azioni dannose.”