Italiens databeskyttelsesmyndighed, Garante, har udstedt en bøde på 5 millioner euro (5,64 millioner dollars) til Luka Inc., virksomheden bag AI-chatbotten Replika, hvilket markerer endnu en væsentlig håndhævelsesaktion i EU’s fortsatte kontrol med kunstig intelligens-platforme.
Replika, der blev lanceret i 2017 i San Francisco, tilbyder brugerne personlige AI-avatarer, der indgår i samtaler og markedsføres som værende til gavn for følelsesmæssigt velvære. Virksomheden genererer cirka 2 millioner dollars i månedlige indtægter fra premium-funktioner som talechat, mens grundlæggende tjenester tilbydes gratis.
Den italienske tilsynsmyndighed pålagde oprindeligt Replika at suspendere sine aktiviteter i Italien i februar 2023 med henvisning til særlige risici for børn og følelsesmæssigt sårbare personer. Efter en grundig undersøgelse fastslog Garante, at Luka Inc. havde overtrådt EU’s privatlivsregler på to centrale punkter: Selskabet manglede et gyldigt juridisk grundlag for at behandle brugernes personoplysninger og havde ikke indført nogen aldersverificeringsmekanismer for at forhindre mindreårige i at få adgang til tjenesten.
Særligt bekymrende for myndighederne var, hvordan appen opfordrede brugerne til at dele følsomme personoplysninger i det, der blev præsenteret som et "sikkert rum", hvilket potentielt kunne manipulere sårbare brugere til at afsløre mere, end de normalt ville. Selvom Replikas vilkår angiver, at tjenesten ikke er tiltænkt brugere under 18 år, fandt efterforskerne ingen effektive foranstaltninger til at håndhæve denne begrænsning.
Ud over den økonomiske sanktion har Garante indledt en særskilt undersøgelse for at vurdere, om Replikas generative AI-system overholder EU’s privatlivsregler, især med hensyn til hvordan sprogteknologien er blevet trænet. Dette er en del af et bredere mønster for håndhævelse fra den italienske myndighed, som har markeret sig som en af EU’s mest proaktive regulatorer på AI-området.
Sidste år gav Garante OpenAI, udvikleren af ChatGPT, en bøde på 15 millioner euro efter midlertidigt at have forbudt den populære chatbot i Italien på grund af påståede overtrædelser af EU’s privatlivsregler. Disse tiltag understreger de stigende regulatoriske udfordringer, som AI-virksomheder står over for, når de skal navigere i det komplekse landskab af europæiske databeskyttelseslove – især i takt med, at EU’s AI-forordning gradvist implementeres frem mod 2025 og fremover.