Rychlá integrace umělé inteligence do kritické infrastruktury vytvořila podle odborníků na kybernetickou bezpečnost znepokojivou bezpečnostní situaci. Upozorňuje na to nejnovější vydání RISKS Forum Digest zveřejněné 17. května 2025.
Zpráva Global Cybersecurity Outlook 2025 od Světového ekonomického fóra zdůrazňuje, že ačkoliv 66 % organizací považuje AI za největší letošní změnu v oblasti kybernetické bezpečnosti, pouze 37 % z nich zavedlo opatření pro posouzení bezpečnosti AI nástrojů před jejich nasazením. Tento rozpor mezi povědomím a skutečnými kroky vytváří napříč odvětvími významné zranitelnosti.
„Organizace a systémy, které nedrží krok s hrozbami umožněnými AI, riskují, že se stanou slabými články v dodavatelských řetězcích, a to kvůli zvýšené potenciální expozici zranitelnostem a následnému zneužití,“ varoval mluvčí britského Národního centra kybernetické bezpečnosti (NCSC) ve své poslední zprávě. NCSC předpovídá, že do roku 2027 útočníci využívající AI ještě více zkrátí dobu mezi objevením a zneužitím zranitelnosti, která se již nyní zkrátila na pouhé dny.
Odborníci na kybernetickou bezpečnost jsou obzvláště znepokojeni útoky typu prompt injection na velké jazykové modely (LLM). V nedávném penetračním testu, na který odkazují bezpečnostní výzkumníci, byl AI chatbot svíčkárny kompromitován pomocí prompt engineeringu, což vedlo k bezpečnostním, provozním i obchodním rizikům. Útok umožnil získání systémových dat a manipulaci s odpověďmi chatbota, což ukazuje, jak i zdánlivě neškodné implementace AI mohou představovat vážné bezpečnostní riziko.
Zranitelnosti v dodavatelských řetězcích představují další zásadní problém – 54 % velkých organizací je označuje za největší překážku dosažení kybernetické odolnosti. Rostoucí složitost dodavatelských řetězců v kombinaci s omezeným přehledem o bezpečnostních postupech dodavatelů vytváří prostředí, kde mohou být AI systémy kompromitovány prostřednictvím komponent třetích stran.
Vznik agentní AI – systémů schopných samostatně rozhodovat a vykonávat složité úkoly – má v roce 2025 zásadně proměnit hrozbové prostředí. „Dříve jsme se zaměřovali na AI asistenty, kteří reagovali na podněty uživatelů. Nyní sledujeme agentní AI nástroje, které dokážou samostatně rozhodovat a provádět komplikované úkoly,“ vysvětlil Hao Yang, viceprezident pro umělou inteligenci ve společnosti Splunk, kterou vlastní Cisco.
Odborníci doporučují, aby organizace zaváděly formální bezpečnostní politiky pro AI, prováděly modelování hrozeb před nasazením, systematicky snižovaly útočné plochy a zajišťovaly, že dodavatelé mají aktivní programy zlepšování bezpečnosti. Důležité je také kontinuální školení bezpečnostních týmů, protože AI-řízené útoky se vyvíjejí za hranice tradičních obranných mechanismů.
Jak poznamenal jeden z bezpečnostních výzkumníků v RISKS Foru: „Nejde jen o obranu proti útokům poháněným AI – musíme si uvědomit, že samotné naše AI systémy se staly hlavním cílem.“