Die KI-Branche erlebt derzeit eine deutliche Spaltung unter ihren führenden Unternehmen hinsichtlich des Umgangs mit potenziellen existenziellen Risiken durch immer leistungsfähigere KI-Systeme.
Anthropic, mit 61 Milliarden US-Dollar bewertet und von Amazon unterstützt, positioniert sich als vorsichtigster Akteur und warnt fortlaufend davor, dass unkontrollierte KI-Fähigkeiten die Sicherheitsmaßnahmen überholen könnten. CEO Dario Amodei äußerte sich besonders deutlich zur Notwendigkeit von Worst-Case-Planungen und erklärte kürzlich, dass Modelle bald „in fast allem besser als wir“ sein werden. Die Responsible-Scaling-Policy des Unternehmens umfasst verstärkte physische Sicherheitsmaßnahmen wie Bürodurchsuchungen nach versteckten Geräten sowie einen Executive Risk Council, der leistungsstarke Modelle vor dem Einsatz bewertet.
OpenAI, zuletzt mit 300 Milliarden US-Dollar bewertet, verfolgt einen anderen Ansatz und setzt auf Transparenzinitiativen. Im Mai 2025 startete das Unternehmen seinen Safety Evaluations Hub, eine Webplattform, die zeigt, wie die eigenen Modelle bei verschiedenen Sicherheitstests zu schädlicher Inhaltserzeugung, Jailbreaks und Halluzinationen abschneiden. OpenAI versprach, diese Kennzahlen regelmäßig mit wichtigen Modellveröffentlichungen zu aktualisieren. Allerdings haben jüngste Änderungen am Preparedness Framework für Bedenken gesorgt, da das Unternehmen angab, die Sicherheitsanforderungen „anzupassen“, falls Wettbewerber Hochrisikomodelle ohne vergleichbare Schutzmaßnahmen veröffentlichen.
Google DeepMind verfolgt offenbar den methodischsten Ansatz und veröffentlichte im April 2025 ein umfassendes, 145-seitiges Papier zur AGI-Sicherheit. Das Frontier Safety Framework des Unternehmens kategorisiert KI-Risiken in vier Bereiche: Missbrauch, Fehlanpassung, Unfälle und strukturelle Risiken. DeepMinds Strategie setzt auf schrittweisen Fortschritt mit robustem Training, Monitoring und Sicherheitsprotokollen. Das Unternehmen hat einen AGI Safety Council unter Leitung von Mitgründer Shane Legg eingerichtet und arbeitet mit gemeinnützigen KI-Sicherheitsorganisationen wie Apollo und Redwood Research zusammen.
Diese unterschiedlichen Strategien spiegeln den grundlegenden Zielkonflikt der KI-Branche zwischen schneller Fähigkeitsentwicklung und der Implementierung robuster Schutzmaßnahmen wider. Da KI-Systeme in immer mehr Bereichen menschliches Leistungsniveau erreichen, wird der Ruf nach einem einheitlichen, branchenübergreifenden Sicherheitskonsortium mit transparenten Benchmarks lauter.
Experten warnen, dass ohne koordinierte Sicherheitsstandards der Wettbewerbsdruck zur schnellen Einführung fortschrittlicher Modelle dazu führen könnte, dass Unternehmen bei Schutzmaßnahmen Abstriche machen. Wie Anthropic-Manager Jack Clark betonte, braucht die Branche stärkere Mechanismen, „um Risiken zu identifizieren und zu mindern und eine verantwortungsvolle KI-Entwicklung voranzutreiben“, bevor diese leistungsstarken Systeme breit eingesetzt werden.