Taliansky dozorný orgán pre ochranu údajov Garante udelil spoločnosti Luka Inc., vývojárovi AI chatbota Replika, pokutu vo výške 5 miliónov eur (5,64 milióna dolárov), čo predstavuje ďalší významný krok v rámci prebiehajúcej kontroly platforiem umelej inteligencie v Európskej únii.
Replika, spustená v roku 2017 v San Franciscu, ponúka používateľom personalizovaných AI avatarov, ktorí vedú konverzácie a sú propagovaní ako nástroj na zlepšenie emocionálnej pohody. Spoločnosť generuje približne 2 milióny dolárov mesačne z prémiových funkcií, ako sú hlasové rozhovory, pričom základné služby sú dostupné zadarmo.
Taliansky regulátor pôvodne nariadil spoločnosti Replika pozastaviť činnosť v Taliansku vo februári 2023, pričom poukázal na špecifické riziká pre deti a emocionálne zraniteľné osoby. Po dôkladnom vyšetrovaní Garante zistil, že Luka Inc. porušila predpisy EÚ o ochrane súkromia v dvoch zásadných oblastiach: spoločnosť nemala platný právny základ na spracúvanie osobných údajov používateľov a nezaviedla žiadne mechanizmy na overovanie veku, ktoré by zabránili maloletým v prístupe k službe.
Regulátorov obzvlášť znepokojilo, že aplikácia povzbudzovala používateľov k zdieľaniu citlivých osobných informácií v prostredí prezentovanom ako „bezpečný priestor“, čím mohla manipulovať so zraniteľnými používateľmi a viesť ich k zvereniu väčšieho množstva údajov, než by inak poskytli. Hoci podmienky služby Replika uvádzajú, že nie je určená pre osoby mladšie ako 18 rokov, vyšetrovatelia nezistili žiadne účinné opatrenia na vynútenie tohto obmedzenia.
Okrem finančnej sankcie spustil Garante samostatné vyšetrovanie s cieľom posúdiť, či generatívny AI systém Replika spĺňa pravidlá EÚ o ochrane osobných údajov, najmä pokiaľ ide o spôsob trénovania jazykového modelu. Ide o súčasť širšieho trendu vynucovania pravidiel zo strany talianskeho úradu, ktorý sa zaradil medzi najaktívnejších regulátorov AI v rámci EÚ.
Minulý rok Garante udelil spoločnosti OpenAI, tvorcovi ChatGPT, pokutu 15 miliónov eur po tom, čo dočasne zakázal populárny chatbot v Taliansku pre údajné porušenia pravidiel EÚ o ochrane súkromia. Tieto kroky poukazujú na rastúce regulačné výzvy, ktorým čelia spoločnosti pôsobiace v oblasti AI pri orientácii v zložitom prostredí európskych zákonov o ochrane údajov, najmä v čase, keď sa začína postupná implementácia Aktu o umelej inteligencii EÚ, ktorá potrvá až do roku 2025 a ďalej.