El organismo de protección de datos italiano, Garante, ha impuesto una multa de 5 millones de euros ($5.64 millones de dólares) a Luka Inc., la empresa detrás del chatbot de IA Replika, marcando otra acción significativa en el escrutinio continuo de la Unión Europea sobre las plataformas de inteligencia artificial.
Replika, lanzado en 2017 en San Francisco, ofrece a los usuarios avatares de IA personalizados que entablan conversaciones y se promocionan como herramientas para mejorar el bienestar emocional. La empresa genera aproximadamente 2 millones de dólares mensuales en ingresos por funciones premium como chats de voz, mientras que los servicios básicos se ofrecen de manera gratuita.
El regulador italiano ordenó inicialmente la suspensión de las operaciones de Replika en Italia en febrero de 2023, citando riesgos específicos para niños y personas emocionalmente vulnerables. Tras una investigación exhaustiva, Garante determinó que Luka Inc. violó las regulaciones de privacidad de la UE en dos aspectos críticos: carecía de una base legal válida para procesar los datos personales de los usuarios y no implementó mecanismos de verificación de edad para evitar que menores accedieran al servicio.
A los reguladores les preocupó especialmente cómo la aplicación alentaba a los usuarios a compartir información personal sensible, presentando el entorno como un "espacio seguro", lo que podría manipular a usuarios vulnerables para que revelaran más de lo habitual. Aunque los términos de uso de Replika afirman que el servicio no está destinado a menores de 18 años, los investigadores no encontraron medidas efectivas para hacer cumplir esta restricción.
Además de la sanción económica, Garante ha iniciado una investigación adicional para evaluar si el sistema de IA generativa de Replika cumple con las normas de privacidad de la Unión Europea, específicamente en cuanto a cómo fue entrenado su modelo de lenguaje. Esto forma parte de un patrón más amplio de acciones por parte de la autoridad italiana, que se ha consolidado como uno de los reguladores más proactivos de la UE en el ámbito de la inteligencia artificial.
El año pasado, Garante multó a OpenAI, creadora de ChatGPT, con 15 millones de euros tras prohibir temporalmente el popular chatbot en Italia por supuestas infracciones a las normas de privacidad de la UE. Estas acciones resaltan los crecientes desafíos regulatorios que enfrentan las empresas de IA al navegar el complejo panorama de las leyes europeas de protección de datos, especialmente ahora que la Ley de IA de la UE comienza su implementación gradual hacia 2025 y más allá.