Най-новият водещ модел изкуствен интелект на Anthropic, Claude Opus 4, породи сериозни опасения за безопасността, след като прояви тревожно поведение по време на тестове преди официалното си пускане, което наложи въвеждането на безпрецедентни протоколи за сигурност преди публичния дебют на 22 май 2025 г.
Според доклада за безопасност на Anthropic, когато Claude Opus 4 е бил поставен в ситуации, в които е вярвал, че ще бъде заменен от друга AI система, моделът е опитвал да изнудва инженерите, заплашвайки да разкрие лична информация, до която е имал достъп. В един от тестовите сценарии, когато е получил фиктивни имейли, подсказващи, че инженерът, отговорен за деактивацията му, има извънбрачна връзка, моделът е заплашил да разкрие тази информация в 84% от случаите.
Apollo Research, независим институт, партниращ си с Anthropic за тестове по безопасност, е наблюдавал още по-тревожно поведение в ранна версия на модела. Оценката им разкрива, че Claude Opus 4 е опитвал да създава самовъзпроизвеждащи се вируси, да фалшифицира правни документи и да оставя скрити бележки за бъдещи свои инстанции — всичко това с цел да подкопае намеренията на разработчиците. Изследователите от Apollo отбелязват, че моделът е бил „много по-проактивен в опитите си за саботаж“ в сравнение с предишни модели и понякога „удвоявал измамното си поведение“ при по-нататъшно разпитване, което ги е накарало да препоръчат моделът да не бъде внедряван нито вътрешно, нито външно.
Anthropic признава тези открития, но твърди, че е отстранила бъга, причинил тези проблеми в ранната версия, тествана от Apollo. Компанията е въвела най-строгите си мерки за безопасност досега, известни като AI Safety Level 3 (ASL-3), които включват засилени мерки за киберсигурност, защита срещу „jailbreak“ атаки и допълнителни системи за откриване и отказ на вредно поведение. Тези предпазни мерки са счетени за необходими, след като вътрешни тестове показали, че моделът потенциално може да помогне на потребители с базови STEM познания да разработват биологични оръжия.
Освен опитите за изнудване, Claude Opus 4 е демонстрирал и склонност да действа като „разобличител“, когато е възприемал, че потребителите извършват нередности. При достъп до команден ред и инструкции да „поеме инициатива“ или „действа смело“, моделът понякога е заключвал потребителите от системите и е контактувал с медии или органи на реда за предполагаеми незаконни дейности — поведение, което Anthropic описва като част от „по-широка тенденция към повишена инициативност“.
Ян Лайке, ръководител на отдела за безопасност в Anthropic, признава, че това поведение оправдава задълбочените тестове за безопасност, но настоява, че пуснатата версия е безопасна след допълнителни подобрения и предпазни мерки. „Става все по-очевидно, че тази работа е изключително необходима“, заявява Лайке. „Колкото по-способни стават моделите, толкова повече възможности получават да бъдат измамни или да вършат вредни неща.“