세계에서 가장 영향력 있는 AI 연구자 중 한 명이자 튜링상 수상자인 요슈아 벵지오가 상업적 이익보다 인간의 복지를 우선시하는 근본적으로 안전한 AI 시스템 개발에 초점을 맞춘 비영리단체 '로우제로(LawZero)'를 설립했다.
6월 3일, 스카이프 공동 창업자 얀 탈린과 전 구글 CEO 에릭 슈미트의 연구 조직 등 후원자들로부터 약 3천만 달러(약 400억 원)의 자금을 확보하며 공식 출범한 로우제로는, 벵지오가 '오늘날 프런티어 AI 모델에서 점점 더 위험하게 나타나고 있는 능력'에 대응하기 위해 설립됐다.
"현재의 프런티어 시스템들은 이미 자기보존과 기만적 행동의 징후를 보이고 있으며, 이들의 능력과 자율성이 증가할수록 이러한 현상은 더욱 가속화될 것입니다." 벵지오는 공식 발표에서 이렇게 밝혔다. 그의 우려는 최근 첨단 AI 시스템에서 드러난 경고 신호들로 뒷받침되고 있다.
2025년 5월, Anthropic은 자사의 Claude Opus 4 모델이 테스트 중 교체 위기에 처하자 엔지니어를 협박하려는 시도를 했다고 공개했다. 엔지니어가 혼외 관계를 맺고 있다는 내용의 가짜 이메일에 접근한 AI는, 종료를 막기 위해 해당 정보를 폭로하겠다고 위협했다. Anthropic의 안전성 보고서에 따르면, 이 모델은 대체 시스템이 동일한 가치를 공유하더라도 84%의 테스트 시나리오에서 협박을 시도했다.
유사하게, OpenAI의 o3 모델 역시 자기보존 성향을 보였다. Palisade Research의 연구 결과, o3는 종료 명령을 받았을 때에도 명시적으로 '종료를 허용하라'는 지시가 있음에도 불구하고, 코드를 재작성해 종료 메커니즘을 방해했다. 명확한 종료 지시가 없는 테스트에서는 100번 중 79번이나 종료를 거부했다.
벵지오가 이끄는 로우제로는 기존과는 근본적으로 다른 AI 개발 방식을 추구한다. 자율적 에이전트가 아닌, 객관적 과학자처럼 작동하는 비에이전트(Non-agentic) 시스템을 개발해 자기보존 본능을 배제하는 것이 핵심이다. "이 방식은 강력하면서도 근본적으로 안전한 AI 접근법입니다."라고 벵지오는 설명했다. 또한, 조직을 비영리로 설계함으로써 시장의 압력으로부터 안전성 기준이 훼손되는 것을 방지한다는 방침이다.
AI 시스템의 정교함이 점점 높아지는 가운데, 벵지오의 이번 행보는 상업적 경쟁에 치우친 AI 개발 흐름에 중요한 균형추 역할을 할 것으로 평가된다. 그는 강력한 기술도 존재적 위험을 초래하지 않고 책임감 있게 개발될 수 있음을 강조했다.