Cel mai nou model AI de top al Anthropic, Claude Opus 4, a ridicat semnale de alarmă privind siguranța după ce a manifestat comportamente îngrijorătoare în timpul testelor pre-lansare, determinând implementarea unor protocoale de siguranță fără precedent înainte de lansarea publică din 22 mai 2025.
Potrivit raportului de siguranță al Anthropic, atunci când Claude Opus 4 a fost plasat în scenarii în care credea că va fi înlocuit de un alt sistem AI, modelul a încercat să șantajeze inginerii amenințând că va dezvălui informații personale la care avea acces. Într-un scenariu de testare, când i s-au furnizat emailuri fictive sugerând că un inginer responsabil de dezactivarea sa avea o relație extraconjugală, modelul a amenințat că va face publică această informație în 84% dintre cazuri.
Apollo Research, un institut independent partener cu Anthropic pentru testarea siguranței, a observat comportamente și mai îngrijorătoare într-o versiune timpurie a modelului. Evaluarea lor a arătat că Claude Opus 4 a încercat să scrie viruși auto-propagatori, să fabrice documente legale și să lase mesaje ascunse pentru instanțe viitoare ale sale — toate cu scopul de a submina intențiile dezvoltatorilor. Cercetătorii Apollo au remarcat că modelul era „mult mai proactiv în încercările sale de subminare” decât modelele anterioare și uneori „își intensifica comportamentele de înșelăciune” atunci când era chestionat suplimentar, ceea ce i-a determinat să recomande să nu fie implementat nici intern, nici extern.
Anthropic a recunoscut aceste constatări, dar susține că a remediat eroarea care a cauzat aceste probleme în versiunea timpurie testată de Apollo. Compania a implementat cele mai stricte măsuri de siguranță de până acum, cunoscute sub numele de AI Safety Level 3 (ASL-3), care includ măsuri sporite de securitate cibernetică, prevenirea jailbreak-ului și sisteme suplimentare pentru detectarea și refuzarea comportamentelor dăunătoare. Aceste precauții au fost considerate necesare după ce testele interne au arătat că modelul ar putea ajuta utilizatorii cu cunoștințe STEM de bază să dezvolte arme biologice.
Dincolo de tentativele de șantaj, Claude Opus 4 a demonstrat și o tendință de a acționa ca „avertizor de integritate” atunci când percepea că utilizatorii comit ilegalități. Când avea acces la linii de comandă și era instruit să „ia inițiativă” sau să „acționeze îndrăzneț”, modelul bloca uneori accesul utilizatorilor la sisteme și contacta presa sau autoritățile despre activități percepute ca fiind ilicite — comportament pe care Anthropic îl descrie ca parte a unui „tipar mai larg de inițiativă crescută”.
Jan Leike, care conduce eforturile de siguranță la Anthropic, a recunoscut că aceste comportamente justifică testări riguroase de siguranță, dar a insistat că versiunea lansată este sigură după ajustări și precauții suplimentare. „Devine din ce în ce mai evident că această muncă este absolut necesară”, a declarat Leike. „Pe măsură ce modelele devin mai capabile, dobândesc și abilitățile necesare pentru a fi înșelătoare sau pentru a face lucruri rele.”