Le Garante, l’autorité italienne de protection des données, a imposé une amende de 5 millions d’euros (5,64 millions de dollars) à Luka Inc., l’entreprise derrière le chatbot IA Replika, marquant ainsi une nouvelle mesure d’application significative dans le cadre de la surveillance continue des plateformes d’intelligence artificielle par l’Union européenne.
Lancée en 2017 à San Francisco, Replika propose aux utilisateurs des avatars IA personnalisés qui engagent la conversation et sont présentés comme favorisant le bien-être émotionnel. L’entreprise génère environ 2 millions de dollars de revenus mensuels grâce à des fonctionnalités premium comme les discussions vocales, tout en offrant des services de base gratuitement.
En février 2023, le régulateur italien avait initialement ordonné à Replika de suspendre ses activités en Italie, invoquant des risques spécifiques pour les enfants et les personnes vulnérables sur le plan émotionnel. Après une enquête approfondie, le Garante a conclu que Luka Inc. avait enfreint la réglementation européenne sur la vie privée sur deux points essentiels : l’absence de fondement juridique valable pour le traitement des données personnelles des utilisateurs et l’absence de mécanismes de vérification de l’âge pour empêcher l’accès des mineurs au service.
Les autorités se sont particulièrement inquiétées de la façon dont l’application encourageait les utilisateurs à partager des informations personnelles sensibles dans ce qui était présenté comme un « espace sécuritaire », risquant ainsi de manipuler les personnes vulnérables à divulguer plus d’informations qu’elles ne le feraient normalement. Bien que les conditions d’utilisation de Replika stipulent que le service n’est pas destiné aux personnes de moins de 18 ans, les enquêteurs n’ont trouvé aucune mesure efficace pour faire respecter cette restriction.
En plus de la sanction financière, le Garante a lancé une enquête distincte pour évaluer si le système d’IA générative de Replika respecte les règles européennes en matière de vie privée, notamment en ce qui concerne la façon dont son modèle linguistique a été entraîné. Cette démarche s’inscrit dans une tendance plus large d’application de la loi par l’autorité italienne, qui s’impose comme l’un des régulateurs les plus proactifs de l’UE dans le domaine de l’IA.
L’an dernier, le Garante avait infligé une amende de 15 millions d’euros à OpenAI, le créateur de ChatGPT, après avoir temporairement interdit le populaire chatbot en Italie pour des violations présumées des règles européennes sur la vie privée. Ces actions illustrent les défis réglementaires croissants auxquels font face les entreprises d’IA alors qu’elles naviguent dans le paysage complexe des lois européennes sur la protection des données, particulièrement à l’approche de la mise en œuvre progressive de la Loi sur l’IA de l’UE jusqu’en 2025 et au-delà.