Le régulateur italien de la protection des données, le Garante, a infligé une amende de 5 millions d’euros (5,64 millions de dollars) à Luka Inc., l’éditeur du chatbot IA Replika, marquant une nouvelle action significative dans le cadre de la surveillance accrue des plateformes d’intelligence artificielle par l’Union européenne.
Lancé en 2017 à San Francisco, Replika propose aux utilisateurs des avatars IA personnalisés capables de tenir des conversations et présentés comme améliorant le bien-être émotionnel. L’entreprise génère environ 2 millions de dollars de revenus mensuels grâce à des fonctionnalités premium telles que les discussions vocales, tout en offrant des services de base gratuits.
Le régulateur italien avait initialement ordonné la suspension de Replika en Italie en février 2023, invoquant des risques spécifiques pour les enfants et les personnes émotionnellement vulnérables. Après une enquête approfondie, le Garante a conclu que Luka Inc. avait enfreint la réglementation européenne sur la vie privée sur deux points majeurs : absence de base légale valable pour le traitement des données personnelles des utilisateurs et défaut de mise en œuvre de mécanismes de vérification de l’âge pour empêcher l’accès des mineurs au service.
Les autorités se sont particulièrement inquiétées de la manière dont l’application encourageait les utilisateurs à partager des informations personnelles sensibles dans ce qui était présenté comme un « espace sûr », risquant ainsi de manipuler les personnes vulnérables pour qu’elles se confient davantage qu’elles ne l’auraient fait autrement. Bien que les conditions d’utilisation de Replika stipulent que le service n’est pas destiné aux moins de 18 ans, les enquêteurs n’ont relevé aucune mesure efficace pour faire respecter cette restriction.
Outre la sanction financière, le Garante a ouvert une enquête distincte afin de déterminer si le système d’IA générative de Replika est conforme aux règles européennes sur la vie privée, notamment en ce qui concerne la formation de son modèle linguistique. Cette démarche s’inscrit dans une tendance plus large d’actions de la part de l’autorité italienne, qui s’impose comme l’un des régulateurs les plus proactifs de l’UE dans le domaine de l’IA.
L’an dernier, le Garante avait infligé une amende de 15 millions d’euros à OpenAI, le créateur de ChatGPT, après avoir temporairement interdit le célèbre chatbot en Italie pour des violations présumées des règles européennes sur la vie privée. Ces mesures illustrent les défis réglementaires croissants auxquels sont confrontées les entreprises d’IA alors qu’elles doivent naviguer dans le paysage complexe des lois européennes sur la protection des données, en particulier avec l’entrée en vigueur progressive de l’AI Act de l’UE jusqu’en 2025 et au-delà.