오픈AI는 "AI의 악의적 사용 차단: 2025년 6월"이라는 종합 보고서를 발표하며, 2025년 초 자사 AI 시스템을 악용한 10건의 악성 캠페인을 식별하고 무력화한 과정을 공개했다.
보고서에 따르면 중국, 러시아, 북한, 이란, 캄보디아, 필리핀 등 6개국의 국가 지원 행위자들이 챗GPT 및 기타 AI 도구를 활용해 취업 사기, 영향력 작전, 스팸 캠페인을 벌였다. 이 중 4건은 중국에서 시작됐으며, 사회공학, 은밀한 영향력 작전, 사이버 위협에 초점을 맞췄다.
"스니어 리뷰(Sneer Review)"로 명명된 한 캠페인에서는 중국 행위자들이 중국 공산당 저항을 주제로 한 대만 보드게임을 겨냥해 비판적 댓글을 소셜 플랫폼에 대량으로 게시했다. 또 다른 작전인 "헬골란트 바이트(Helgoland Bite)"에서는 러시아 행위자들이 독일어로 미국과 나토를 비판하는 콘텐츠를 생성하며, 2025년 독일 선거에 영향을 미치려 했다. 북한 행위자들은 원격 기술직 채용을 위해 AI를 이용해 허위 이력서를 대량 생산, 입사 과정에서 지급되는 기업 기기 장악을 노렸다.
오픈AI 보안팀은 AI를 수사 역량의 배가제로 활용해 사회공학, 사이버 스파이 활동, 허위 취업 사기 등 악성 행위를 탐지·차단·노출했다. 자사 탐지 시스템은 모든 캠페인에서 비정상적 행위를 포착해 계정 차단과 파트너 플랫폼과의 정보 공유로 이어졌다.
오픈AI는 보고서에서 "공유와 투명성이 모든 이해관계자의 인식과 대비를 높여, 진화하는 적에 맞선 집단 방어를 강화한다"고 밝혔다. 생성형 AI가 완전히 새로운 위협 범주를 만들지는 않았지만, 악성 행위자들의 기술적 진입 장벽을 크게 낮추고 조직적 공격의 효율성을 높였다고 덧붙였다.
보안 전문가들은 조직이 적대 세력이 대형 언어 모델을 어떻게 활용하는지 지속적으로 주시하고, 오픈AI, 구글, 메타, 앤스로픽 등 기업이 실시간으로 공유하는 인텔리전스를 적극 활용해 진화하는 위협에 대한 집단 방어를 강화해야 한다고 강조한다.