A autoridade de proteção de dados italiana, Garante, aplicou uma multa de 5 milhões de euros (5,64 milhões de dólares) à Luka Inc., a empresa responsável pelo chatbot de IA Replika, assinalando mais uma ação significativa no escrutínio contínuo das plataformas de inteligência artificial por parte da União Europeia.
O Replika, lançado em 2017 em São Francisco, oferece aos utilizadores avatares de IA personalizados que mantêm conversas e são promovidos como melhorando o bem-estar emocional. A empresa gera cerca de 2 milhões de dólares em receitas mensais através de funcionalidades premium, como conversas por voz, enquanto disponibiliza serviços básicos de forma gratuita.
O regulador italiano ordenou inicialmente a suspensão das operações do Replika em Itália em fevereiro de 2023, citando riscos específicos para crianças e pessoas emocionalmente vulneráveis. Após uma investigação aprofundada, a Garante concluiu que a Luka Inc. violou os regulamentos de privacidade da UE em dois pontos críticos: não dispunha de uma base legal válida para o tratamento dos dados pessoais dos utilizadores e não implementou mecanismos de verificação de idade para impedir o acesso de menores ao serviço.
Uma das principais preocupações dos reguladores foi o facto de a aplicação incentivar os utilizadores a partilharem informações pessoais sensíveis, apresentando-se como um "espaço seguro" e, potencialmente, manipulando utilizadores vulneráveis a revelarem mais do que normalmente fariam. Embora os termos do Replika afirmem que o serviço não se destina a menores de 18 anos, os investigadores não encontraram medidas eficazes para fazer cumprir esta restrição.
Para além da penalização financeira, a Garante iniciou uma investigação separada para avaliar se o sistema de IA generativa do Replika cumpre as regras de privacidade da União Europeia, nomeadamente no que diz respeito ao modo como o seu modelo de linguagem foi treinado. Esta ação insere-se num padrão mais amplo de fiscalização por parte da autoridade italiana, que se tem destacado como um dos reguladores mais proativos da UE no domínio da inteligência artificial.
No ano passado, a Garante multou a OpenAI, criadora do ChatGPT, em 15 milhões de euros, após ter proibido temporariamente o popular chatbot em Itália devido a alegadas violações das regras de privacidade da UE. Estas ações evidenciam os crescentes desafios regulatórios enfrentados pelas empresas de IA ao navegarem no complexo quadro das leis europeias de proteção de dados, especialmente à medida que o AI Act da UE inicia a sua implementação faseada até 2025 e além.