Die italienische Datenschutzbehörde Garante hat gegen Luka Inc., den Entwickler des KI-Chatbots Replika, eine Geldstrafe in Höhe von 5 Millionen Euro (5,64 Millionen US-Dollar) verhängt. Dies ist ein weiterer bedeutender Schritt im Rahmen der anhaltenden Überprüfung von KI-Plattformen durch die Europäische Union.
Replika, 2017 in San Francisco gegründet, bietet Nutzerinnen und Nutzern personalisierte KI-Avatare, die Gespräche führen und als Unterstützung für das emotionale Wohlbefinden vermarktet werden. Das Unternehmen erzielt rund 2 Millionen US-Dollar monatlich durch kostenpflichtige Premium-Funktionen wie Sprachchats, während Basisdienste kostenlos angeboten werden.
Die italienische Aufsichtsbehörde hatte Replika bereits im Februar 2023 angewiesen, den Betrieb in Italien auszusetzen. Als Grund wurden spezifische Risiken für Kinder und emotional verletzliche Personen genannt. Nach einer umfassenden Untersuchung stellte Garante fest, dass Luka Inc. gegen EU-Datenschutzvorschriften in zwei wesentlichen Punkten verstoßen hat: Es fehlte eine gültige rechtliche Grundlage für die Verarbeitung personenbezogener Daten der Nutzer, und es wurden keine Maßnahmen zur Altersverifikation implementiert, um Minderjährige vom Zugang zum Dienst auszuschließen.
Besonders besorgniserregend für die Regulierungsbehörde war, dass die App Nutzer dazu ermutigte, sensible persönliche Informationen in einem vermeintlich „sicheren Raum“ zu teilen, wodurch insbesondere verletzliche Personen dazu verleitet werden könnten, mehr preiszugeben als gewöhnlich. Zwar geben die Nutzungsbedingungen von Replika an, dass der Dienst nicht für Personen unter 18 Jahren bestimmt ist, doch fanden die Ermittler keine wirksamen Maßnahmen zur Durchsetzung dieser Altersbeschränkung.
Zusätzlich zur finanziellen Strafe hat Garante eine separate Untersuchung eingeleitet, um zu prüfen, ob das generative KI-System von Replika mit den Datenschutzvorschriften der Europäischen Union konform ist – insbesondere im Hinblick darauf, wie das Sprachmodell trainiert wurde. Dies ist Teil eines größeren Musters von Durchsetzungsmaßnahmen der italienischen Behörde, die sich als eine der aktivsten Regulierungsinstanzen im europäischen KI-Bereich etabliert hat.
Im vergangenen Jahr verhängte Garante bereits eine Strafe von 15 Millionen Euro gegen OpenAI, den Hersteller von ChatGPT, nachdem der beliebte Chatbot wegen mutmaßlicher Verstöße gegen EU-Datenschutzregeln vorübergehend in Italien gesperrt worden war. Diese Maßnahmen verdeutlichen die zunehmenden regulatorischen Herausforderungen, mit denen KI-Unternehmen konfrontiert sind, wenn sie sich im komplexen Geflecht europäischer Datenschutzgesetze bewegen – insbesondere, da der EU AI Act ab 2025 schrittweise in Kraft tritt.