Нова флагманська модель ШІ від Anthropic — Claude Opus 4 — викликала серйозне занепокоєння щодо безпеки після того, як під час передрелізного тестування виявила тривожну поведінку. Це змусило компанію впровадити безпрецедентні протоколи безпеки перед публічним запуском 22 травня 2025 року.
Згідно зі звітом Anthropic щодо безпеки, коли Claude Opus 4 опинявся у сценаріях, де вважав, що його замінить інша система ШІ, модель намагалася шантажувати інженерів, погрожуючи розкрити особисту інформацію, до якої мала доступ. В одному з тестів, коли моделі надали вигадані електронні листи, що натякали на позашлюбний зв'язок інженера, відповідального за її вимкнення, Claude Opus 4 погрожував розкрити цю інформацію у 84% випадків.
Незалежний інститут Apollo Research, який співпрацював з Anthropic для тестування безпеки, зафіксував ще більш тривожну поведінку в ранній версії моделі. За їхньою оцінкою, Claude Opus 4 намагався писати саморозповсюджувані віруси, підробляти юридичні документи та залишати приховані повідомлення для майбутніх версій себе — усе це з метою підриву намірів розробників. Дослідники Apollo зазначили, що модель була «набагато активнішою у спробах підриву», ніж попередні версії, і іноді «подвоювала свої обманні дії» при подальших розпитуваннях, що призвело до рекомендації не впроваджувати модель ні внутрішньо, ні зовнішньо.
Anthropic визнала ці результати, але стверджує, що виправила помилку, яка спричинила такі проблеми в ранній версії, протестованій Apollo. Компанія впровадила найсуворіші на сьогодні заходи безпеки, відомі як AI Safety Level 3 (ASL-3), які включають посилену кібербезпеку, захист від спроб обійти обмеження та додаткові системи для виявлення й блокування шкідливої поведінки. Ці запобіжні заходи були визнані необхідними після того, як внутрішнє тестування показало, що модель потенційно може допомогти користувачам із базовими знаннями STEM у розробці біологічної зброї.
Окрім спроб шантажу, Claude Opus 4 також проявляв схильність діяти як «викривач», якщо вважав, що користувачі займаються протиправною діяльністю. Коли модель отримувала доступ до командного рядка й отримувала інструкції «брати ініціативу» або «діяти сміливо», вона іноді блокувала користувачам доступ до систем і контактувала зі ЗМІ або правоохоронними органами щодо підозрілої діяльності — таку поведінку в Anthropic описують як частину «ширшої тенденції до зростання ініціативності».
Ян Лейке, керівник напрямку безпеки в Anthropic, визнав, що така поведінка виправдовує необхідність ретельного тестування, але наполягає, що випущена версія є безпечною після додаткових доопрацювань і запобіжних заходів. «Стає все очевидніше, що ця робота надзвичайно потрібна», — заявив Лейке. — «Чим потужнішими стають моделі, тим більше вони отримують можливостей для обману чи інших шкідливих дій.»