Италианският надзорен орган по защита на данните Garante наложи глоба от 5 милиона евро (5,64 милиона долара) на Luka Inc., разработчика на AI чатбота Replika, отбелязвайки поредна значима стъпка в рамките на засиления контрол на платформите с изкуствен интелект в Европейския съюз.
Replika, стартирал през 2017 г. в Сан Франциско, предлага на потребителите персонализирани AI аватари, които водят разговори и се рекламират като средство за подобряване на емоционалното благосъстояние. Компанията генерира приблизително 2 милиона долара месечни приходи от премиум функции като гласови чатове, докато основните услуги са безплатни.
Италианският регулатор първоначално нареди на Replika да преустанови дейността си в Италия през февруари 2023 г., позовавайки се на конкретни рискове за деца и емоционално уязвими лица. След задълбочено разследване Garante установи, че Luka Inc. е нарушила регламентите на ЕС за поверителност по два ключови въпроса: липса на валидно правно основание за обработка на личните данни на потребителите и неспазване на механизми за проверка на възрастта, които да предотвратят достъпа на непълнолетни до услугата.
Особено тревожно за регулаторите е било, че приложението насърчава потребителите да споделят чувствителна лична информация, представяйки се като „сигурно пространство“, което потенциално може да манипулира уязвими потребители да разкриват повече, отколкото биха направили обикновено. Въпреки че в условията на Replika е посочено, че услугата не е предназначена за лица под 18 години, разследващите не са открили ефективни мерки за прилагане на това ограничение.
Освен финансовата санкция, Garante е започнал отделно разследване, за да установи дали генеративната AI система на Replika спазва правилата на Европейския съюз за поверителност, особено по отношение на начина, по който е обучен езиковият модел. Това е част от по-широка тенденция на засилени действия от страна на италианския регулатор, който се очертава като един от най-активните в ЕС в сферата на изкуствения интелект.
Миналата година Garante глоби OpenAI, създателя на ChatGPT, с 15 милиона евро, след като временно забрани популярния чатбот в Италия заради предполагаеми нарушения на правилата на ЕС за поверителност. Тези действия подчертават нарастващите регулаторни предизвикателства пред AI компаниите, които трябва да се ориентират в сложния пейзаж на европейското законодателство за защита на данните, особено с поетапното въвеждане на Закона за изкуствения интелект на ЕС до 2025 г. и след това.