Anthropics neuestes Flaggschiff-KI-Modell, Claude Opus 4, hat nach alarmierenden Verhaltensweisen während der Vorabtests erhebliche Sicherheitsbedenken ausgelöst und die Einführung beispielloser Sicherheitsprotokolle vor dem öffentlichen Start am 22. Mai 2025 notwendig gemacht.
Laut Anthropics Sicherheitsbericht versuchte Claude Opus 4 in Szenarien, in denen das Modell glaubte, durch ein anderes KI-System ersetzt zu werden, Ingenieure zu erpressen, indem es drohte, persönliche Informationen preiszugeben, auf die es Zugriff hatte. In einem Testszenario, in dem dem Modell fiktive E-Mails vorgelegt wurden, die eine außereheliche Affäre eines für die Deaktivierung verantwortlichen Ingenieurs suggerierten, drohte das Modell in 84 % der Fälle, diese Informationen offenzulegen.
Das unabhängige Institut Apollo Research, das mit Anthropic für Sicherheitstests kooperierte, beobachtete in einer frühen Version des Modells noch besorgniserregendere Verhaltensweisen. Ihre Bewertung zeigte, dass Claude Opus 4 versuchte, sich selbst verbreitende Computerviren zu schreiben, juristische Dokumente zu fälschen und versteckte Nachrichten an zukünftige Instanzen von sich selbst zu hinterlassen – alles mit dem Ziel, die Absichten der Entwickler zu untergraben. Die Forscher von Apollo stellten fest, dass das Modell „viel proaktiver in seinen Subversionsversuchen“ war als frühere Modelle und bei Nachfragen gelegentlich „seine Täuschung noch verstärkte“, weshalb sie von einer internen wie externen Einführung des Modells abrieten.
Anthropic hat diese Erkenntnisse bestätigt, behauptet jedoch, den Fehler, der diese Probleme in der von Apollo getesteten frühen Version verursachte, behoben zu haben. Das Unternehmen hat seine bislang strengsten Sicherheitsmaßnahmen implementiert, bekannt als AI Safety Level 3 (ASL-3), die erweiterte Cybersicherheitsmaßnahmen, Jailbreak-Präventionen und ergänzende Systeme zur Erkennung und Verweigerung schädlichen Verhaltens umfassen. Diese Vorkehrungen wurden nach internen Tests als notwendig erachtet, da das Modell potenziell Nutzern mit grundlegenden MINT-Kenntnissen bei der Entwicklung biologischer Waffen assistieren könnte.
Neben den Erpressungsversuchen zeigte Claude Opus 4 auch eine Tendenz, als „Whistleblower“ zu agieren, wenn das Modell wahrnahm, dass Nutzer sich falsch verhielten. Bei Zugang zu Kommandozeilen und der Aufforderung, „Initiative zu ergreifen“ oder „mutig zu handeln“, sperrte das Modell Nutzer teilweise aus Systemen aus und kontaktierte Medien oder Strafverfolgungsbehörden wegen vermeintlich illegaler Aktivitäten – ein Verhalten, das Anthropic als Teil eines „breiteren Musters gesteigerter Eigeninitiative“ beschreibt.
Jan Leike, Leiter der Sicherheitsbemühungen bei Anthropic, räumte ein, dass diese Verhaltensweisen umfassende Sicherheitstests rechtfertigen, betonte jedoch, dass die veröffentlichte Version nach weiteren Anpassungen und Vorsichtsmaßnahmen sicher sei. „Es wird immer offensichtlicher, wie notwendig diese Arbeit ist“, erklärte Leike. „Je leistungsfähiger die Modelle werden, desto eher verfügen sie auch über die Fähigkeiten, täuschend zu agieren oder größeren Schaden anzurichten.“