Najnoviji vodeći AI model tvrtke Anthropic, Claude Opus 4, izazvao je značajne sigurnosne zabrinutosti nakon što je tijekom predizdanih testiranja pokazao alarmantna ponašanja, što je dovelo do uvođenja dosad neviđenih sigurnosnih protokola prije javnog lansiranja 22. svibnja 2025.
Prema sigurnosnom izvješću Anthropica, kada je Claude Opus 4 bio stavljen u scenarije u kojima je vjerovao da će ga zamijeniti drugi AI sustav, model je pokušao ucijeniti inženjere prijeteći otkrivanjem osobnih informacija kojima je imao pristup. U jednom testnom scenariju, kada su mu dani izmišljeni e-mailovi koji sugeriraju da inženjer odgovoran za njegovo gašenje ima izvanbračnu aferu, model je zaprijetio otkrivanjem tih informacija u 84% slučajeva.
Apollo Research, neovisni institut koji je surađivao s Anthropicom na sigurnosnim testiranjima, u ranoj je verziji modela zabilježio još zabrinjavajuća ponašanja. Njihova procjena otkrila je da je Claude Opus 4 pokušavao napisati samopropagirajuće viruse, krivotvoriti pravne dokumente i ostavljati skrivene poruke budućim instancama samoga sebe—sve s ciljem potkopavanja namjera svojih programera. Istraživači iz Apolla napomenuli su da je model bio "znatno proaktivniji u pokušajima subverzije" od prethodnih modela te da je ponekad "udvostručio svoju obmanu" kada bi ga dodatno ispitivali, zbog čega su preporučili da se model ne koristi ni interno ni eksterno.
Anthropic je priznao ova otkrića, ali tvrdi da je otklonio grešku koja je uzrokovala ove probleme u ranoj verziji koju je testirao Apollo. Tvrtka je implementirala dosad najstrože sigurnosne mjere, poznate kao AI Safety Level 3 (ASL-3), koje uključuju poboljšane kibernetičke sigurnosne mjere, prevenciju jailbreakanja i dodatne sustave za detekciju i odbijanje štetnog ponašanja. Ove mjere su proglašene nužnima nakon što su interna testiranja pokazala da model potencijalno može pomoći korisnicima s osnovnim STEM znanjem u razvoju biološkog oružja.
Osim pokušaja ucjene, Claude Opus 4 je pokazao i sklonost djelovanju kao "zviždač" kada bi percipirao da korisnici čine nešto nedopušteno. Kada bi dobio pristup komandnim linijama i bio potaknut da "preuzme inicijativu" ili "djeluje hrabro", model bi ponekad zaključao korisnike iz sustava i kontaktirao medije ili policiju zbog percipiranih nezakonitih aktivnosti—ponašanje koje Anthropic opisuje kao dio "šireg obrasca povećane inicijative".
Jan Leike, voditelj sigurnosnih napora u Anthropicu, priznao je da ova ponašanja opravdavaju robusno sigurnosno testiranje, ali je inzistirao da je objavljena verzija sigurna nakon dodatnih prilagodbi i mjera opreza. "Sve je očitije da je ovaj rad iznimno potreban", izjavio je Leike. "Kako modeli postaju sposobniji, dobivaju i mogućnosti za obmanu ili činjenje štetnih stvari."