Italian tietosuojaviranomainen Garante on määrännyt 5 miljoonan euron (5,64 miljoonan dollarin) sakon Luka Inc:lle, tekoälychatbot Replikan kehittäjälle. Tämä on jälleen yksi merkittävä toimenpide Euroopan unionin jatkuvassa tekoälyalustojen valvonnassa.
Vuonna 2017 San Franciscossa lanseerattu Replika tarjoaa käyttäjilleen personoituja tekoälyavatareja, jotka keskustelevat ja joiden väitetään parantavan emotionaalista hyvinvointia. Yhtiö ansaitsee noin 2 miljoonaa dollaria kuukaudessa premium-ominaisuuksista, kuten äänikeskusteluista, mutta peruspalvelut ovat ilmaisia.
Italian viranomainen määräsi alun perin Replikan keskeyttämään toimintansa Italiassa helmikuussa 2023, vedoten erityisiin riskeihin lapsille ja emotionaalisesti haavoittuville henkilöille. Perusteellisen tutkinnan jälkeen Garante totesi, että Luka Inc. rikkoi EU:n tietosuojasäädöksiä kahdella keskeisellä tavalla: sillä ei ollut pätevää oikeudellista perustaa käyttäjien henkilötietojen käsittelyyn, eikä se ollut ottanut käyttöön minkäänlaisia ikävarmennusmekanismeja estääkseen alaikäisten pääsyn palveluun.
Erityistä huolta viranomaisissa herätti se, miten sovellus rohkaisi käyttäjiä jakamaan arkaluonteisia henkilötietojaan niin kutsutussa "turvallisessa tilassa", mikä saattoi manipuloida haavoittuvia käyttäjiä paljastamaan enemmän kuin he normaalisti tekisivät. Vaikka Replikan käyttöehdoissa todetaan, ettei palvelu ole tarkoitettu alle 18-vuotiaille, tutkijat eivät löytäneet tehokkaita keinoja tämän rajoituksen valvomiseksi.
Rahallisen rangaistuksen lisäksi Garante on käynnistänyt erillisen tutkinnan selvittääkseen, täyttääkö Replikan generatiivinen tekoälyjärjestelmä EU:n tietosuojasäädökset erityisesti kielimallin koulutuksen osalta. Tämä on osa laajempaa valvontaa, jossa Italian viranomainen on noussut yhdeksi EU:n aktiivisimmista tekoälysääntelijöistä.
Viime vuonna Garante määräsi OpenAI:lle, ChatGPT:n kehittäjälle, 15 miljoonan euron sakon ja määräsi suositun chatbotin väliaikaiseen käyttökieltoon Italiassa väitettyjen EU:n tietosuojarikkomusten vuoksi. Nämä toimet korostavat kasvavia sääntelyhaasteita, joiden kanssa tekoälyyritykset joutuvat painimaan navigoidessaan Euroopan monimutkaista tietosuojalainsäädäntöä, erityisesti kun EU:n tekoälyasetus (AI Act) alkaa vaiheittain astua voimaan vuoteen 2025 ja sen jälkeen.