O órgão de proteção de dados da Itália, Garante, aplicou uma multa de € 5 milhões (US$ 5,64 milhões) à Luka Inc., desenvolvedora do chatbot de IA Replika, marcando mais uma ação significativa na fiscalização contínua da União Europeia sobre plataformas de inteligência artificial.
Lançado em 2017 em São Francisco, o Replika oferece aos usuários avatares de IA personalizados que interagem em conversas e são promovidos como ferramentas para melhorar o bem-estar emocional. A empresa gera cerca de US$ 2 milhões em receita mensal com recursos premium, como chats por voz, enquanto oferece serviços básicos gratuitamente.
O regulador italiano inicialmente ordenou a suspensão das operações do Replika na Itália em fevereiro de 2023, citando riscos específicos para crianças e pessoas emocionalmente vulneráveis. Após uma investigação detalhada, o Garante concluiu que a Luka Inc. violou regulamentos de privacidade da UE em dois pontos críticos: não possuía uma base legal válida para processar os dados pessoais dos usuários e não implementou mecanismos de verificação de idade para impedir o acesso de menores ao serviço.
Uma preocupação particular dos reguladores era a forma como o aplicativo incentivava os usuários a compartilhar informações pessoais sensíveis em um suposto "ambiente seguro", potencialmente levando usuários vulneráveis a revelar mais do que normalmente fariam. Embora os termos do Replika afirmem que o serviço não é destinado a menores de 18 anos, os investigadores não encontraram medidas eficazes para garantir essa restrição.
Além da penalidade financeira, o Garante iniciou uma investigação separada para avaliar se o sistema de IA generativa do Replika está em conformidade com as regras de privacidade da União Europeia, especialmente no que diz respeito ao treinamento do modelo de linguagem. Isso faz parte de um padrão mais amplo de fiscalização pela autoridade italiana, que se destaca como um dos reguladores mais proativos da UE no campo da IA.
No ano passado, o Garante multou a OpenAI, criadora do ChatGPT, em € 15 milhões após banir temporariamente o popular chatbot na Itália por supostas violações das regras de privacidade da UE. Essas ações destacam os crescentes desafios regulatórios enfrentados por empresas de IA ao navegar pelo complexo cenário das leis europeias de proteção de dados, especialmente à medida que o AI Act da UE inicia sua implementação gradual até 2025 e além.