De Italiaanse privacyautoriteit Garante heeft een boete van €5 miljoen opgelegd aan Luka Inc., het bedrijf achter AI-chatbot Replika. Dit is opnieuw een belangrijke handhavingsactie in het voortdurende toezicht van de Europese Unie op AI-platforms.
Replika, in 2017 gelanceerd in San Francisco, biedt gebruikers gepersonaliseerde AI-avatars die gesprekken aangaan en worden gepresenteerd als hulpmiddel voor emotioneel welzijn. Het bedrijf genereert ongeveer $2 miljoen aan maandelijkse omzet uit premiumfuncties zoals spraakchats, terwijl de basisdienst gratis wordt aangeboden.
De Italiaanse toezichthouder beval Replika in februari 2023 om de activiteiten in Italië tijdelijk te staken, vanwege specifieke risico’s voor kinderen en emotioneel kwetsbare personen. Na grondig onderzoek concludeerde Garante dat Luka Inc. op twee cruciale punten de Europese privacyregels had overtreden: er was geen geldige juridische basis voor de verwerking van persoonsgegevens van gebruikers en er waren geen leeftijdsverificatiemechanismen om minderjarigen van de dienst te weren.
De toezichthouder uitte vooral zorgen over de manier waarop de app gebruikers aanmoedigde om gevoelige persoonlijke informatie te delen in wat werd gepresenteerd als een 'veilige omgeving', waardoor kwetsbare gebruikers mogelijk werden gemanipuleerd om meer prijs te geven dan ze normaal zouden doen. Hoewel in de voorwaarden van Replika staat dat de dienst niet bedoeld is voor personen onder de 18 jaar, troffen onderzoekers geen effectieve maatregelen aan om deze beperking te handhaven.
Naast de financiële sanctie is Garante een afzonderlijk onderzoek gestart om te beoordelen of het generatieve AI-systeem van Replika voldoet aan de Europese privacyregels, met name wat betreft de training van het taalmodel. Dit maakt deel uit van een bredere handhavingsstrategie van de Italiaanse autoriteit, die zich heeft ontwikkeld tot een van de meest proactieve toezichthouders op AI-gebied binnen de EU.
Vorig jaar legde Garante OpenAI, de maker van ChatGPT, een boete van €15 miljoen op na een tijdelijk verbod van de populaire chatbot in Italië wegens vermeende schendingen van de Europese privacywetgeving. Deze acties onderstrepen de groeiende uitdagingen voor AI-bedrijven bij het navigeren door het complexe landschap van Europese gegevensbeschermingswetten, zeker nu de EU AI Act gefaseerd wordt ingevoerd tot en met 2025 en daarna.