Italiens konkurrensmyndighet AGCM meddelade på måndagen att de har inlett en formell utredning av det kinesiska artificiella intelligensbolaget DeepSeek, vilket markerar en betydande regleringsåtgärd mot AI-hallucinationer.
Utredningen fokuserar på anklagelser om att DeepSeek har underlåtit att ge användarna "tillräckligt tydliga, omedelbara och begripliga" varningar om risken för AI-hallucinationer i sitt innehåll. AGCM definierar dessa hallucinationer som "situationer där AI-modellen, som svar på en given inmatning från en användare, genererar ett eller flera svar som innehåller felaktig, vilseledande eller påhittad information".
Denna granskning är en av de första större regleringsinsatserna som specifikt riktar in sig på AI-hallucinationer, ett växande bekymmer i takt med att generativa AI-system blir allt mer utbredda. Utredningen sker samtidigt som den globala granskningen av AI-transparens och risker för desinformation ökar, och myndigheter världen över utvecklar ramverk för att hantera dessa utmaningar.
DeepSeek, som grundades i slutet av 2023 av den kinesiske hedgefondförvaltaren Liang Wenfeng, har snabbt etablerat sig som en betydande aktör på den globala AI-marknaden. Företaget fick internationell uppmärksamhet tidigare i år när de lanserade AI-modeller som enligt uppgift matchade ledande västerländska konkurrenters kapacitet till en bråkdel av kostnaden, vilket orsakade volatilitet på teknikmarknaden.
Detta är inte DeepSeeks första möte med italienska myndigheter. I februari 2025 beordrade Italiens dataskyddsmyndighet företaget att blockera tillgången till sin chatbot efter att DeepSeek inte åtgärdat brister i sin integritetspolicy. Vid det tillfället uppgav DeepSeek att de inte bedrev verksamhet i Italien och att europeiska regler därför inte var tillämpliga på deras verksamhet.
I och med att EU:s AI-förordning börjar fasas in under 2025, med transparenskrav för generella AI-system från och med den 2 augusti, kan detta fall skapa viktiga prejudikat för hur europeiska tillsynsmyndigheter kommer att hantera AI-hallucinationer inom det nya regelverket.