Итальянский надзорный орган по защите данных Garante оштрафовал компанию Luka Inc., разработчика чат-бота Replika с искусственным интеллектом, на 5 миллионов евро ($5,64 млн), что стало очередной значимой мерой в рамках пристального внимания Европейского союза к платформам искусственного интеллекта.
Replika, запущенный в 2017 году в Сан-Франциско, предлагает пользователям персонализированные AI-аватары, которые ведут диалоги и позиционируются как способ улучшения эмоционального состояния. Компания зарабатывает около 2 миллионов долларов в месяц на премиум-функциях, таких как голосовые чаты, при этом базовые услуги предоставляются бесплатно.
Итальянский регулятор впервые распорядился приостановить работу Replika в Италии в феврале 2023 года, указав на особые риски для детей и эмоционально уязвимых лиц. После тщательного расследования Garante установил, что Luka Inc. нарушила нормы ЕС о конфиденциальности данных по двум ключевым направлениям: отсутствовали законные основания для обработки персональных данных пользователей и не были реализованы механизмы проверки возраста, чтобы не допустить несовершеннолетних к сервису.
Особое беспокойство у регуляторов вызвал тот факт, что приложение поощряло пользователей делиться чувствительной личной информацией, представляя сервис как «безопасное пространство», что могло манипулировать уязвимыми пользователями и побуждать их раскрывать больше, чем они обычно бы сделали. Несмотря на то, что в условиях использования Replika указано, что сервис не предназначен для лиц младше 18 лет, следователи не обнаружили эффективных мер по обеспечению этого ограничения.
Помимо финансового штрафа, Garante начал отдельное расследование, чтобы выяснить, соответствует ли генеративная AI-система Replika правилам конфиденциальности ЕС, в частности, как обучалась языковая модель сервиса. Это часть более широкой тенденции со стороны итальянского регулятора, который стал одним из самых активных в ЕС в вопросах регулирования искусственного интеллекта.
В прошлом году Garante оштрафовал компанию OpenAI, разработчика ChatGPT, на 15 миллионов евро после временного запрета популярного чат-бота в Италии из-за предполагаемых нарушений правил конфиденциальности ЕС. Эти действия подчеркивают растущие регуляторные вызовы для AI-компаний, которым приходится ориентироваться в сложной системе европейских законов о защите данных, особенно на фоне поэтапного внедрения Акта об искусственном интеллекте ЕС до 2025 года и далее.