Italský úřad pro ochranu osobních údajů Garante uložil společnosti Luka Inc., vývojáři AI chatbota Replika, pokutu ve výši 5 milionů eur (5,64 milionu dolarů), což představuje další významný zásah v rámci pokračujícího dohledu Evropské unie nad platformami využívajícími umělou inteligenci.
Replika, spuštěná v roce 2017 v San Franciscu, nabízí uživatelům personalizované AI avatary, kteří vedou konverzace a jsou propagováni jako nástroj pro zlepšení emoční pohody. Společnost generuje přibližně 2 miliony dolarů měsíčně z prémiových funkcí, jako jsou hlasové hovory, přičemž základní služby nabízí zdarma.
Italský regulátor původně nařídil společnosti Replika pozastavit provoz v Itálii v únoru 2023 s odkazem na konkrétní rizika pro děti a emočně zranitelné osoby. Po důkladném vyšetřování Garante zjistil, že Luka Inc. porušila předpisy EU o ochraně soukromí ve dvou klíčových bodech: chyběl jí platný právní základ pro zpracování osobních údajů uživatelů a nezavedla žádné mechanismy ověřování věku, které by zabránily přístupu nezletilých ke službě.
Zvláště znepokojující pro regulátory bylo, jak aplikace povzbuzovala uživatele ke sdílení citlivých osobních informací v prostředí prezentovaném jako „bezpečný prostor“, což mohlo vést k manipulaci zranitelných uživatelů k většímu sdílení, než by bylo obvyklé. Přestože podmínky služby Replika uvádějí, že není určena pro uživatele mladší 18 let, vyšetřovatelé nenašli žádná účinná opatření k prosazení tohoto omezení.
Kromě finanční sankce zahájil Garante samostatné šetření, zda generativní AI systém Replika splňuje pravidla EU pro ochranu soukromí, zejména pokud jde o způsob trénování jazykového modelu. Tento krok je součástí širšího trendu prosazování práva ze strany italského úřadu, který se řadí mezi nejaktivnější regulátory AI v EU.
Loni Garante udělil společnosti OpenAI, tvůrci ChatGPT, pokutu 15 milionů eur po dočasném zákazu populárního chatbota v Itálii kvůli údajnému porušení pravidel EU o ochraně soukromí. Tyto kroky zdůrazňují rostoucí regulační výzvy, kterým AI společnosti čelí při orientaci v komplexním prostředí evropské ochrany dat, zejména s postupným zaváděním nařízení EU AI Act do roku 2025 a dále.