AI 보안 분야에서 중대한 진전으로, 구글 연구진이 AI 에이전트 시스템의 무결성을 위협하는 근본적인 취약점 패턴을 밝혀냈다.
2025년 6월 15일, 구글 보안팀은 산티아고 디아즈, 크리스토프 케른, 카라 올리브가 저술한 '구글의 AI 에이전트 보안 접근법 소개' 논문을 발표했다. 이 논문은 AI 에이전트를 '환경을 인지하고, 의사결정을 내리며, 사용자 정의 목표 달성을 위해 자율적으로 행동하는 AI 시스템'으로 정의하고, 이를 보호하기 위한 구글의 포괄적 프레임워크를 제시한다.
연구진은 두 가지 주요 보안 우려를 강조한다. 바로 악의적 행위(의도치 않거나 해로운, 정책 위반 행동)와 민감 정보 노출(무단 개인정보 유출)이다. 이러한 위험에 대응하기 위해 구글은 기존 보안 통제와 동적 추론 기반 방어를 결합한 하이브리드, 심층 방어 전략을 제안한다.
이어 2025년 6월 16일에는 AI 에이전트에 대한 '치명적 삼중고' 개념이 도입된 관련 논문이 발표됐다. 이는 민감 데이터 접근, 신뢰할 수 없는 콘텐츠 노출, 외부 통신 능력이라는 세 가지 기능이 결합될 때 심각한 보안 취약점이 발생한다는 것이다. 이 세 요소가 AI 시스템 내에서 동시에 존재할 경우, 공격자는 에이전트를 속여 민감 정보를 접근·유출하도록 만들 수 있다.
수년 전 '프롬프트 인젝션'이라는 용어를 만든 보안 연구원 사이먼 윌리슨은 이 취약점 패턴을 이해하는 것이 매우 중요하다고 강조했다. 윌리슨은 구글 연구 분석에서 "에이전트가 이 세 가지 기능을 모두 갖추면, 공격자가 손쉽게 민감 데이터를 접근·전송하도록 속일 수 있다"고 지적했다.
이 연구는 AI 에이전트가 점점 더 자율성을 갖고 민감 시스템에 접근하는 현시점에서 특히 시의적절하다. 마이크로소프트, 구글, 앤트로픽 등 주요 기술 기업들은 최근 2년간 AI 제품에서 유사한 보안 문제를 겪었으며, ChatGPT, Microsoft Copilot, Google Bard 등 시스템에서 수십 건의 데이터 유출 공격이 보고됐다.
구글 연구진은 에이전트 보안을 위한 세 가지 핵심 원칙을 제안한다. 에이전트는 명확한 인간 관리자 하에 있어야 하며, 권한은 신중히 제한되어야 하고, 행동 및 계획은 관찰 가능해야 한다는 것이다. 이 지침들은 점점 더 자율화되는 AI의 복잡한 보안 환경에서 AI 에이전트 시스템을 구현하는 개발자와 조직에 유용한 프레임워크를 제공한다.