Autoritatea italiană pentru protecția datelor, Garante, a aplicat o amendă de 5 milioane de euro (5,64 milioane de dolari) companiei Luka Inc., dezvoltatorul chatbotului AI Replika, marcând o nouă acțiune semnificativă în cadrul supravegherii continue a platformelor de inteligență artificială de către Uniunea Europeană.
Lansat în 2017 la San Francisco, Replika oferă utilizatorilor avatare AI personalizate care poartă conversații și sunt promovate ca soluții pentru îmbunătățirea stării emoționale. Compania obține aproximativ 2 milioane de dolari lunar din funcționalități premium, precum conversațiile vocale, în timp ce serviciile de bază sunt disponibile gratuit.
Regulatorul italian a ordonat inițial suspendarea operațiunilor Replika în Italia în februarie 2023, invocând riscuri specifice pentru copii și persoanele vulnerabile emoțional. În urma unei investigații amănunțite, Garante a stabilit că Luka Inc. a încălcat reglementările UE privind confidențialitatea pe două aspecte esențiale: lipsa unei baze legale valide pentru prelucrarea datelor personale ale utilizatorilor și absența unor mecanisme de verificare a vârstei pentru a împiedica accesul minorilor la serviciu.
O preocupare deosebită pentru autorități a fost modul în care aplicația încuraja utilizatorii să împărtășească informații personale sensibile, prezentând platforma ca un „spațiu sigur”, ceea ce ar putea manipula utilizatorii vulnerabili să dezvăluie mai mult decât ar face-o în mod obișnuit. Deși termenii Replika stipulează că serviciul nu este destinat persoanelor sub 18 ani, anchetatorii nu au identificat măsuri eficiente pentru a impune această restricție.
Pe lângă sancțiunea financiară, Garante a lansat o investigație separată pentru a evalua dacă sistemul AI generativ al Replika respectă regulile europene privind confidențialitatea, în special cu privire la modul în care a fost antrenat modelul lingvistic. Aceasta face parte dintr-un model mai larg de acțiuni de reglementare ale autorității italiene, care s-a remarcat drept unul dintre cei mai proactivi supraveghetori ai AI din UE.
Anul trecut, Garante a amendat OpenAI, creatorul ChatGPT, cu 15 milioane de euro după ce a interzis temporar chatbotul popular în Italia, invocând presupuse încălcări ale normelor UE privind confidențialitatea. Aceste acțiuni evidențiază provocările tot mai mari cu care se confruntă companiile din domeniul AI în contextul reglementărilor complexe privind protecția datelor în Europa, mai ales pe măsură ce Legea AI a UE începe să fie implementată etapizat până în 2025 și ulterior.