Włoski organ nadzoru nad ochroną danych, Garante, nałożył grzywnę w wysokości 5 milionów euro (5,64 miliona dolarów) na firmę Luka Inc., dewelopera chatbota AI Replika, co stanowi kolejny istotny krok egzekucyjny w ramach trwającej w Unii Europejskiej kontroli nad platformami sztucznej inteligencji.
Replika, uruchomiona w 2017 roku w San Francisco, oferuje użytkownikom spersonalizowane awatary AI prowadzące rozmowy i reklamowane jako poprawiające samopoczucie emocjonalne. Firma generuje około 2 milionów dolarów miesięcznych przychodów z funkcji premium, takich jak rozmowy głosowe, podczas gdy podstawowe usługi są dostępne bezpłatnie.
Włoski regulator początkowo nakazał zawieszenie działalności Repliki we Włoszech w lutym 2023 roku, powołując się na szczególne zagrożenia dla dzieci oraz osób emocjonalnie wrażliwych. Po przeprowadzeniu szczegółowego dochodzenia Garante ustalił, że Luka Inc. naruszyła unijne przepisy o ochronie prywatności na dwóch kluczowych płaszczyznach: brakowało jej ważnej podstawy prawnej do przetwarzania danych osobowych użytkowników oraz nie wdrożyła żadnych mechanizmów weryfikacji wieku, które zapobiegałyby korzystaniu z usługi przez nieletnich.
Szczególne zaniepokojenie regulatorów wzbudził fakt, że aplikacja zachęcała użytkowników do dzielenia się wrażliwymi informacjami osobistymi, przedstawiając to jako "bezpieczną przestrzeń", co mogło prowadzić do manipulowania osobami podatnymi na ujawnianie większej ilości danych, niż normalnie by to zrobiły. Mimo że w regulaminie Repliki widnieje zapis, iż usługa nie jest przeznaczona dla osób poniżej 18. roku życia, śledczy nie znaleźli skutecznych środków egzekwujących to ograniczenie.
Oprócz kary finansowej Garante wszczął osobne postępowanie mające na celu ocenę, czy generatywny system AI Repliki jest zgodny z unijnymi przepisami o ochronie prywatności, w szczególności w zakresie sposobu trenowania modelu językowego. Jest to element szerszego trendu działań egzekucyjnych włoskiego organu, który stał się jednym z najbardziej aktywnych regulatorów AI w UE.
W ubiegłym roku Garante nałożył na OpenAI, twórcę ChatGPT, grzywnę w wysokości 15 milionów euro po tymczasowym zakazie działania popularnego chatbota we Włoszech z powodu domniemanych naruszeń unijnych przepisów o ochronie danych. Te działania podkreślają rosnące wyzwania regulacyjne stojące przed firmami AI, które muszą poruszać się w złożonym środowisku europejskiego prawa ochrony danych, zwłaszcza w kontekście stopniowego wdrażania unijnej ustawy o AI (EU AI Act) od 2025 roku i później.