이탈리아 개인정보보호감독기관 가란테(Garante)는 AI 챗봇 레플리카(Replika) 개발사 루카(Luka Inc.)에 대해 500만 유로(약 560만 달러)의 과징금을 부과했다. 이는 유럽연합(EU)이 인공지능 플랫폼에 대한 감시를 강화하는 가운데 이뤄진 또 하나의 중대한 집행 조치다.
2017년 샌프란시스코에서 출시된 레플리카는 사용자에게 맞춤형 AI 아바타와의 대화를 제공하며, 감정적 웰빙 향상을 내세워 마케팅되고 있다. 레플리카는 음성 대화 등 프리미엄 기능을 통해 월 약 200만 달러의 수익을 올리고 있으며, 기본 서비스는 무료로 제공된다.
이탈리아 규제 당국은 2023년 2월, 아동과 감정적으로 취약한 이용자에게 특정 위험이 있다고 판단해 레플리카의 현지 운영 중단을 명령했다. 이후 진행된 조사에서 가란테는 루카가 EU 개인정보보호 규정을 두 가지 핵심 측면에서 위반했다고 결론 내렸다. 첫째, 사용자 개인정보 처리에 대한 적법한 법적 근거가 없었고, 둘째, 미성년자의 서비스 접근을 막기 위한 연령 확인 장치가 전혀 마련되지 않았다.
특히 규제 당국은 앱이 사용자가 '안전한 공간'에서 민감한 개인정보를 공유하도록 유도해, 취약한 이용자가 평소보다 더 많은 정보를 노출하도록 조장할 수 있다는 점을 우려했다. 레플리카 이용 약관에는 만 18세 미만 이용자는 서비스 대상이 아니라고 명시돼 있지만, 실제로 이를 강제할 효과적인 조치는 발견되지 않았다.
가란테는 이번 과징금 부과와 별도로, 레플리카의 생성형 AI 시스템이 유럽연합 개인정보보호 규정을 준수하는지, 특히 언어 모델의 학습 방식에 문제가 없는지 추가 조사를 진행 중이다. 이는 이탈리아 당국이 AI 분야에서 EU 내 가장 적극적인 규제자로 부상하고 있음을 보여주는 사례다.
지난해 가란테는 챗GPT(ChatGPT) 개발사 오픈AI(OpenAI)에 대해 EU 개인정보보호 규정 위반 혐의로 1,500만 유로의 과징금을 부과하고, 일시적으로 서비스 제공을 금지한 바 있다. 이 같은 조치는 AI 기업들이 유럽 데이터 보호법이라는 복잡한 환경을 헤쳐 나가야 하는 규제적 도전이 커지고 있음을 보여준다. 특히 EU AI 법안이 2025년 이후 단계적으로 시행되면서 이러한 추세는 더욱 강화될 전망이다.