Italiens dataskyddsmyndighet Garante har utdömt en bot på 5 miljoner euro (5,64 miljoner dollar) mot Luka Inc., företaget bakom AI-chatboten Replika, vilket markerar ytterligare en betydande tillsynsåtgärd i Europeiska unionens pågående granskning av AI-plattformar.
Replika, som lanserades 2017 i San Francisco, erbjuder användare personliga AI-avatarer som för samtal och marknadsförs som ett verktyg för förbättrat emotionellt välmående. Företaget genererar cirka 2 miljoner dollar i månadsintäkter från premiumfunktioner som röstchattar, medan grundläggande tjänster erbjuds gratis.
Den italienska tillsynsmyndigheten beordrade initialt Replika att upphöra med verksamheten i Italien i februari 2023, med hänvisning till särskilda risker för barn och känslomässigt sårbara personer. Efter en grundlig utredning konstaterade Garante att Luka Inc. brutit mot EU:s integritetsregler på två avgörande punkter: företaget saknade giltig rättslig grund för behandling av användarnas personuppgifter och hade inte infört någon åldersverifiering för att förhindra minderåriga från att använda tjänsten.
Särskilt oroande för myndigheten var hur appen uppmuntrade användare att dela känslig personlig information i vad som framställdes som ett "tryggt rum", vilket potentiellt kunde manipulera sårbara användare att avslöja mer än de annars skulle ha gjort. Trots att Replikas användarvillkor anger att tjänsten inte är avsedd för personer under 18 år, fann utredarna inga effektiva åtgärder för att upprätthålla denna begränsning.
Utöver den ekonomiska sanktionen har Garante inlett en separat utredning för att bedöma om Replikas generativa AI-system följer EU:s integritetsregler, särskilt vad gäller hur dess språkmodell har tränats. Detta är en del av ett bredare mönster av tillsynsåtgärder från den italienska myndigheten, som har blivit en av EU:s mest proaktiva regulatorer inom AI-området.
Förra året bötfällde Garante även OpenAI, skaparen av ChatGPT, med 15 miljoner euro efter att tillfälligt ha förbjudit den populära chatboten i Italien på grund av misstänkta överträdelser av EU:s integritetsregler. Dessa åtgärder belyser de ökande regulatoriska utmaningar som AI-företag står inför när de navigerar det komplexa landskapet av europeiska dataskyddslagar, särskilt i takt med att EU:s AI-förordning successivt börjar gälla fram till 2025 och därefter.