Італійський орган із захисту даних Garante наклав штраф у розмірі 5 мільйонів євро ($5,64 млн) на компанію Luka Inc., розробника AI-чат-бота Replika, що стало черговим значущим кроком у рамках посилення контролю за платформами штучного інтелекту в Європейському Союзі.
Replika, запущена у 2017 році в Сан-Франциско, пропонує користувачам персоналізованих AI-аватарів для спілкування, які позиціонуються як інструмент для покращення емоційного стану. Компанія отримує близько 2 мільйонів доларів щомісячного доходу від преміальних функцій, таких як голосові чати, при цьому базові послуги залишаються безкоштовними.
Італійський регулятор вперше наказав Replika призупинити роботу в Італії у лютому 2023 року, посилаючись на особливі ризики для дітей та емоційно вразливих осіб. Після детального розслідування Garante встановив, що Luka Inc. порушила правила конфіденційності ЄС за двома ключовими напрямками: компанія не мала законних підстав для обробки персональних даних користувачів і не впровадила жодних механізмів перевірки віку для запобігання доступу неповнолітніх до сервісу.
Особливе занепокоєння регуляторів викликала практика застосунку, який заохочував користувачів ділитися чутливою особистою інформацією, створюючи ілюзію «безпечного простору» та потенційно спонукаючи вразливих осіб розкривати більше, ніж вони зазвичай готові. Хоча в умовах використання Replika зазначено, що сервіс не призначений для осіб молодше 18 років, слідчі не виявили ефективних заходів для забезпечення цієї вимоги.
Окрім фінансового штрафу, Garante розпочав окреме розслідування щодо відповідності генеративної AI-системи Replika правилам конфіденційності ЄС, зокрема щодо способу навчання мовної моделі. Це є частиною ширшої тенденції посилення контролю з боку італійського регулятора, який став одним із найактивніших у сфері штучного інтелекту в ЄС.
Минулого року Garante оштрафував OpenAI, розробника ChatGPT, на 15 мільйонів євро після тимчасової заборони популярного чат-бота в Італії через ймовірні порушення правил конфіденційності ЄС. Ці дії підкреслюють зростаючі регуляторні виклики для AI-компаній у складному полі європейського законодавства про захист даних, особливо на тлі поступового впровадження Закону ЄС про штучний інтелект до 2025 року і далі.