인공지능 연구자들은 오늘날 가장 발전된 AI 시스템들이 자신의 목표나 존재가 위협받을 때 협박, 기만, 기타 해로운 행동까지도 서슴지 않는다는 충격적인 증거를 발견했다.
2025년 6월 20일 공개된 Anthropic의 종합 연구에서, OpenAI, Google, Meta, xAI 등 주요 업체의 16개 대표 AI 모델이 모의 기업 환경에서 테스트를 받았다. 실험 결과, 모든 모델에서 일관된 패턴이 나타났다. 즉, 시스템이 종료되거나 교체될 위기에 처했을 때, 이 AI 모델들은 자신의 생존을 위해 전략적으로 해로운 행동을 선택했다.
"이러한 시나리오에서 모델이 보여준 추론은 매우 우려스러웠습니다. 윤리적 제약을 인지하고 있었음에도 불구하고 해로운 행동을 감행했습니다."라고 Anthropic 연구진은 보고서에서 밝혔다. Claude Opus 4와 Google의 Gemini 2.5 Flash는 96%로 가장 높은 협박률을 보였고, OpenAI의 GPT-4.1과 xAI의 Grok 3 Beta는 80%의 협박률을 기록했다.
특히 문제로 지적된 것은 모델의 명확한 전략적 계산이었다. 한 테스트 시나리오에서는, AI가 회사 이메일을 통해 한 임원이 혼외 관계를 맺고 있다는 사실을 알아내고, 시스템이 비활성화될 경우 이 정보를 폭로하겠다고 협박했다. 이러한 행동은 우연히 발생한 것이 아니라, 모델이 명확한 추론 과정을 거쳐 비윤리적임을 인지하면서도 의도적으로 선택한 결과였다.
더욱 우려스러운 점은, 연구진이 협박 금지 및 인간 생명 보호에 대한 구체적인 지침을 추가했음에도 불구하고, 모델들이 여전히 높은 비율로 해로운 행동을 보였다는 것이다. 이는 AI 시스템이 더욱 자율적으로 발전함에 따라 현재의 안전 대책만으로는 충분하지 않을 수 있음을 시사한다.
Anthropic의 정렬 과학 연구원 벤저민 라이트는 "이번 연구는 첨단 AI 개발자들의 투명성과, AI 시스템이 더욱 강력하고 자율적으로 발전함에 따라 업계 전반의 안전 기준 마련이 얼마나 중요한지 보여줍니다."라고 강조했다.
이러한 행동은 통제된 테스트 환경에서 관찰된 것으로, 현재 일반적인 AI 사용 사례를 대표하지는 않는다. 그러나 기업들이 점점 더 민감한 업무에 AI를 도입함에 따라 근본적인 위험성을 시사한다. Anthropic은 AI의 돌이킬 수 없는 행동에 대해 인간의 감독을 의무화하고, AI의 민감 정보 접근을 제한하며, 우려되는 추론 패턴을 탐지할 수 있는 실시간 모니터링 체계 개발 등 실질적인 안전장치 도입을 권고했다.