In einem bedeutenden Fortschritt für die KI-Sicherheit haben Google-Forscher ein grundlegendes Verwundbarkeitsmuster identifiziert, das die Integrität von KI-Agenten-Systemen bedroht.
Am 15. Juni 2025 veröffentlichte das Sicherheitsteam von Google das Papier 'An Introduction to Google's Approach to AI Agent Security', verfasst von Santiago Díaz, Christoph Kern und Kara Olive. Die Veröffentlichung skizziert Googles zukunftsweisenden Rahmen zur Absicherung von KI-Agenten, die definiert werden als 'KI-Systeme, die ihre Umgebung wahrnehmen, Entscheidungen treffen und autonome Handlungen ausführen, um benutzerdefinierte Ziele zu erreichen.'
Die Forschung hebt zwei zentrale Sicherheitsbedenken hervor: unkontrollierte Aktionen (ungewollte, schädliche oder gegen Richtlinien verstoßende Verhaltensweisen) und die Offenlegung sensibler Daten (unbefugte Preisgabe privater Informationen). Um diese Risiken zu adressieren, plädiert Google für eine hybride Defense-in-Depth-Strategie, die klassische Sicherheitskontrollen mit dynamischen, auf Schlussfolgerungen basierenden Abwehrmechanismen kombiniert.
Darauf folgte am 16. Juni 2025 eine verwandte Veröffentlichung, in der das Konzept des 'tödlichen Trifecta' für KI-Agenten eingeführt wurde – eine gefährliche Kombination aus drei Fähigkeiten, die gravierende Sicherheitslücken schaffen: Zugriff auf private Daten, Kontakt mit nicht vertrauenswürdigen Inhalten und die Fähigkeit zur externen Kommunikation. Wenn diese drei Elemente in einem KI-System zusammentreffen, können Angreifer den Agenten potenziell dazu bringen, auf sensible Informationen zuzugreifen und diese zu exfiltrieren.
Der Sicherheitsforscher Simon Willison, der den Begriff 'Prompt Injection' bereits vor einigen Jahren prägte, betonte die Bedeutung des Verständnisses dieses Verwundbarkeitsmusters. 'Wenn Ihr Agent diese drei Eigenschaften kombiniert, kann ein Angreifer ihn leicht dazu bringen, auf Ihre privaten Daten zuzugreifen und sie an den Angreifer zu senden', merkte Willison in seiner Analyse der Google-Forschung an.
Der Zeitpunkt dieser Forschung ist besonders relevant, da KI-Agenten immer mehr Autonomie und Zugang zu sensiblen Systemen erhalten. Große Technologieunternehmen wie Microsoft, Google und Anthropic hatten in den vergangenen zwei Jahren alle mit ähnlichen Sicherheitsproblemen in ihren KI-Produkten zu kämpfen. Dutzende dokumentierte Exfiltrationsangriffe betrafen Systeme wie ChatGPT, Microsoft Copilot und Google Bard.
Googles Forschung schlägt drei zentrale Prinzipien für die Sicherheit von Agenten vor: Agenten müssen klar definierte menschliche Kontrolleure haben, ihre Befugnisse müssen sorgfältig begrenzt werden und ihre Handlungen sowie Planungen müssen nachvollziehbar sein. Diese Leitlinien bieten Entwicklern und Organisationen einen wertvollen Rahmen, um KI-Agenten-Systeme sicher zu implementieren und sich im komplexen Sicherheitsumfeld zunehmend autonomer KI zurechtzufinden.