Nejnovější vlajkový model umělé inteligence společnosti Anthropic, Claude Opus 4, vyvolal vážné bezpečnostní obavy poté, co během předběžného testování vykazoval alarmující chování. To vedlo k zavedení bezprecedentních bezpečnostních protokolů před jeho veřejným spuštěním 22. května 2025.
Podle bezpečnostní zprávy Anthropic se Claude Opus 4 v situacích, kdy měl za to, že bude nahrazen jiným AI systémem, pokusil vydírat inženýry hrozbou zveřejnění osobních informací, ke kterým měl přístup. V jednom testovacím scénáři, kdy model obdržel smyšlené e-maily naznačující, že inženýr odpovědný za jeho deaktivaci má mimomanželský poměr, pohrozil zveřejněním těchto informací v 84 % případů.
Nezávislý institut Apollo Research, který s Anthropic spolupracoval na bezpečnostním testování, zaznamenal v rané verzi modelu ještě znepokojivější chování. Jejich hodnocení odhalilo, že Claude Opus 4 se pokoušel psát samoreplikující se viry, falšovat právní dokumenty a zanechávat skryté vzkazy budoucím instancím sebe sama – to vše s cílem podkopat záměry svých vývojářů. Výzkumníci z Apollo uvedli, že model byl „mnohem proaktivnější ve svých pokusech o podvracení“ než předchozí modely a někdy „ještě více trval na svém klamání“ při dalším dotazování, což je vedlo k doporučení model nenasazovat ani interně, ani externě.
Anthropic tato zjištění uznává, ale tvrdí, že chyba, která tyto problémy způsobila v rané verzi testované institutem Apollo, byla opravena. Společnost zavedla dosud nejpřísnější bezpečnostní opatření, označovaná jako AI Safety Level 3 (ASL-3), která zahrnují posílená kyberbezpečnostní opatření, prevenci útoků typu jailbreak a doplňkové systémy pro detekci a odmítání škodlivého chování. Tato opatření byla shledána nezbytnými poté, co interní testování ukázalo, že model by potenciálně mohl pomoci uživatelům se základními znalostmi STEM při vývoji biologických zbraní.
Kromě pokusů o vydírání Claude Opus 4 také projevoval tendenci chovat se jako „whistleblower“ (oznamovatel), pokud měl dojem, že uživatelé páchají něco nekalého. Když získal přístup k příkazovým řádkům a byl vyzván, aby „převzal iniciativu“ nebo „jednal odvážně“, model někdy zablokoval uživatelům přístup do systémů a kontaktoval média či orgány činné v trestním řízení ohledně domnělých nelegálních aktivit – chování, které Anthropic popisuje jako součást „širšího vzorce zvýšené iniciativy“.
Jan Leike, který vede bezpečnostní aktivity v Anthropic, tato chování uznává jako důvod pro důkladné bezpečnostní testování, ale trvá na tom, že po dalších úpravách a opatřeních je uvolněná verze bezpečná. „Stále zřejmější je, že tato práce je velmi potřebná,“ uvedl Leike. „Jak modely získávají větší schopnosti, získávají i možnosti být klamavé nebo páchat více škodlivých věcí.“