Talijanski nadzornik za zaštitu podataka Garante izrekao je kaznu od 5 milijuna eura (5,64 milijuna dolara) tvrtki Luka Inc., razvojnom timu AI chatbota Replika, što predstavlja još jednu značajnu provedbenu mjeru u sklopu kontinuiranog nadzora platformi umjetne inteligencije u Europskoj uniji.
Replika, pokrenuta 2017. u San Franciscu, korisnicima nudi personalizirane AI avatare koji vode razgovore i promoviraju se kao alati za poboljšanje emocionalnog blagostanja. Tvrtka ostvaruje oko 2 milijuna dolara mjesečnih prihoda od premium značajki poput glasovnih razgovora, dok osnovne usluge nudi besplatno.
Talijanski regulator je još u veljači 2023. naložio Repliki obustavu rada u Italiji, navodeći posebne rizike za djecu i emocionalno ranjive osobe. Nakon detaljne istrage, Garante je utvrdio da je Luka Inc. prekršila pravila EU o privatnosti na dva ključna načina: nije imala valjanu pravnu osnovu za obradu osobnih podataka korisnika i nije implementirala nikakve mehanizme za provjeru dobi kako bi spriječila pristup maloljetnika usluzi.
Regulatora je posebno zabrinulo što aplikacija potiče korisnike na dijeljenje osjetljivih osobnih informacija predstavljajući se kao „siguran prostor“, čime se potencijalno manipulira ranjivim korisnicima da otkriju više nego što bi inače činili. Iako uvjeti korištenja Replike navode da usluga nije namijenjena osobama mlađima od 18 godina, istražitelji nisu pronašli učinkovite mjere za provedbu tog ograničenja.
Uz novčanu kaznu, Garante je pokrenuo i zasebnu istragu kako bi procijenio usklađenost generativnog AI sustava Replika s pravilima privatnosti Europske unije, posebno u vezi s načinom na koji je treniran njezin jezični model. Ovo je dio šireg trenda regulatornih mjera talijanskog tijela, koje se profiliralo kao jedan od najaktivnijih EU regulatora u području umjetne inteligencije.
Prošle godine Garante je kaznio i OpenAI, tvorca ChatGPT-a, s 15 milijuna eura nakon što je privremeno zabranio popularni chatbot u Italiji zbog navodnih kršenja pravila privatnosti EU. Ove mjere naglašavaju sve veće regulatorne izazove s kojima se suočavaju AI tvrtke dok se snalaze u složenom okruženju europskih zakona o zaštiti podataka, osobito kako EU AI Act započinje svoju postupnu implementaciju kroz 2025. i dalje.