El organismo de control de protección de datos italiano, Garante, ha impuesto una multa de 5 millones de euros (5,64 millones de dólares) a Luka Inc., la empresa desarrolladora del chatbot de IA Replika, en una nueva y significativa acción dentro del creciente escrutinio de las plataformas de inteligencia artificial por parte de la Unión Europea.
Replika, lanzado en 2017 en San Francisco, ofrece a los usuarios avatares de IA personalizados que mantienen conversaciones y se promocionan como una herramienta para mejorar el bienestar emocional. La compañía genera aproximadamente 2 millones de dólares mensuales en ingresos gracias a funciones premium como los chats de voz, mientras que los servicios básicos se ofrecen de forma gratuita.
El regulador italiano ordenó inicialmente la suspensión de las operaciones de Replika en Italia en febrero de 2023, citando riesgos específicos para menores y personas emocionalmente vulnerables. Tras una investigación exhaustiva, el Garante determinó que Luka Inc. había infringido la normativa europea de privacidad en dos aspectos clave: carecía de una base legal válida para el tratamiento de los datos personales de los usuarios y no había implementado mecanismos de verificación de edad para impedir el acceso de menores al servicio.
Preocupaba especialmente a los reguladores la manera en que la aplicación animaba a los usuarios a compartir información personal sensible en lo que presentaba como un "espacio seguro", lo que podía manipular a personas vulnerables para que revelasen más información de la habitual. Aunque los términos de uso de Replika afirman que el servicio no está destinado a menores de 18 años, los investigadores no encontraron medidas efectivas para hacer cumplir esta restricción.
Además de la sanción económica, el Garante ha iniciado una investigación adicional para evaluar si el sistema de IA generativa de Replika cumple con la normativa europea de privacidad, especialmente en lo relativo al entrenamiento de su modelo de lenguaje. Esta medida forma parte de un patrón más amplio de actuaciones por parte de la autoridad italiana, que se ha consolidado como uno de los reguladores más proactivos de la UE en el ámbito de la inteligencia artificial.
El año pasado, el Garante multó a OpenAI, creadora de ChatGPT, con 15 millones de euros tras prohibir temporalmente el popular chatbot en Italia por presuntas infracciones de las normas europeas de privacidad. Estas acciones ponen de manifiesto los crecientes desafíos regulatorios a los que se enfrentan las empresas de IA a medida que navegan por el complejo panorama de las leyes de protección de datos europeas, especialmente con la entrada en vigor progresiva de la Ley de IA de la UE a partir de 2025.