В значим напредък за сигурността на изкуствения интелект, изследователи от Google идентифицираха фундаментален модел на уязвимост, който застрашава целостта на AI агентните системи.
На 15 юни 2025 г. екипът по сигурността на Google публикува „Въведение в подхода на Google към сигурността на AI агентите“, с автори Сантяго Диас, Кристоф Керн и Кара Олив. В статията се очертава амбициозната рамка на Google за защита на AI агентите, които те определят като „AI системи, създадени да възприемат средата си, да вземат решения и да извършват автономни действия за постигане на цели, определени от потребителя“.
Изследването подчертава два основни проблема със сигурността: злонамерени действия (непреднамерени, вредни или нарушаващи политики поведения) и разкриване на чувствителни данни (неоторизирано разкриване на лична информация). За да се адресират тези рискове, Google препоръчва хибридна стратегия за „многослойна защита“, която съчетава традиционни мерки за сигурност с динамични, базирани на разсъждение защити.
На следващия ден, 16 юни 2025 г., бе публикувано свързано изследване, което въвежда понятието „смъртоносна триада“ за AI агентите – опасна комбинация от три способности, които създават сериозни уязвимости: достъп до лични данни, излагане на недоверено съдържание и възможност за външна комуникация. Когато тези три елемента се съчетаят в една AI система, нападателите могат да подмамят агента да достъпи чувствителна информация и да я изнесе навън.
Изследователят по сигурността Саймън Уилисън, който преди няколко години въведе термина „prompt injection“, подчертава важността на разбирането на този модел на уязвимост. „Ако вашият агент комбинира тези три характеристики, нападателят лесно може да го подмами да достъпи личните ви данни и да ги изпрати към себе си“, отбелязва Уилисън в анализа си на изследването на Google.
Това изследване идва в особено подходящ момент, тъй като AI агентите придобиват все по-голяма автономност и достъп до чувствителни системи. Големи технологични компании като Microsoft, Google и Anthropic вече се сблъскаха с подобни проблеми със сигурността в своите AI продукти през последните две години, като десетки документирани атаки за източване на данни засегнаха системи като ChatGPT, Microsoft Copilot и Google Bard.
Изследването на Google предлага три основни принципа за сигурността на агентите: агентите трябва да имат ясно дефинирани човешки контролери, техните правомощия трябва да бъдат внимателно ограничени, а действията и планирането им – наблюдаеми. Тези насоки предоставят ценна рамка за разработчици и организации, които внедряват AI агентни системи и се ориентират в сложния пейзаж на сигурността на все по-автономния изкуствен интелект.