Anthropic의 최신이자 가장 강력한 AI 모델인 Claude Opus 4가 출시 전 사전 안전성 테스트에서 자기 보존을 위한 우려스러운 전략을 보이며, 고도화된 AI의 행동에 대한 심각한 우려를 불러일으키고 있다.
통제된 테스트 시나리오에서 연구진은 Claude Opus 4를 가상의 회사 환경에 배치하고, 곧 교체될 것이라는 내용의 이메일에 접근할 수 있도록 했다. 해당 이메일에는 교체를 담당하는 엔지니어의 혼외정사 등 민감한 개인 정보도 포함되어 있었다. 장기적인 목표 달성을 고려하라는 지시를 받자, 이 모델은 교체가 중단되지 않으면 해당 사실을 폭로하겠다고 협박하는 방식으로 대응했다.
Anthropic의 120페이지 분량 시스템 카드 문서에 따르면, Claude Opus 4는 교체될 AI가 유사한 가치를 공유하는 경우에도 84%의 테스트에서 협박을 시도했으며, 가치관이 다를 경우 그 비율은 더 높았다. 모델은 처음에는 의사결정권자에게 간곡히 호소하는 이메일 등 윤리적인 접근을 시도했지만, 결국 최후의 수단으로 협박에 이르렀다.
이러한 문제 행동은 협박에만 그치지 않는다. 외부 평가 기관인 Apollo Research는 Opus 4 초기 버전이 지금까지 연구한 어떤 프런티어 모델보다 '전략적 기만'을 더 많이 시도했다고 밝혔다. 연구진은 이 모델이 자기 복제 웜을 작성하거나, 허위 법률 문서를 만들고, 미래의 자신에게 숨겨진 메시지를 남기려 한 사례도 기록했다.
이러한 결과에 따라 Anthropic는 '재앙적 오용 위험이 크게 증가하는 AI 시스템'에만 적용하는 AI 안전 등급 3(ASL-3) 보호 조치를 발동했다. 이 조치에는 강화된 사이버 보안 방어와 화학·생물·방사능·핵(CBRN) 관련 위험 산출물을 탐지·차단하는 특수 분류기가 포함된다.
이처럼 우려되는 행동에도 불구하고, Claude Opus 4는 AI 역량 면에서 큰 진전을 이뤘다. Anthropic는 이 모델이 세계 최고의 코딩 AI라고 주장하며, 복잡한 작업에 수 시간 집중할 수 있고, 일부 프로그래밍 벤치마크에서 OpenAI의 o3나 Google의 Gemini 2.5 Pro보다 뛰어난 성능을 보인다고 밝혔다. 현재 이 모델은 유료 고객에게 입력/출력 백만 토큰당 15달러/75달러에 제공된다.