AI-branschen upplever just nu en tydlig splittring bland sina ledande aktörer kring hur potentiella existentiella risker från allt kraftfullare AI-system ska hanteras.
Anthropic, värderat till 61 miljarder dollar och med Amazon som investerare, har positionerat sig som den mest försiktiga aktören och varnar konsekvent för att okontrollerade AI-förmågor kan överträffa säkerhetsåtgärderna. VD Dario Amodei har varit särskilt tydlig med behovet av att planera för värsta tänkbara scenario och uttalade nyligen att modeller snart kommer att "bli bättre än oss på nästan allt". Företagets policy för ansvarsfull skalning omfattar bland annat förstärkta fysiska säkerhetsåtgärder som genomsökningar av kontor efter dolda enheter samt ett exekutivt riskråd som utvärderar kraftfulla modeller innan de tas i bruk.
OpenAI, nyligen värderat till 300 miljarder dollar, har valt en annan väg genom att satsa på transparensinitiativ. I maj 2025 lanserade företaget sin Safety Evaluations Hub, en webbplattform som visar hur deras modeller presterar på olika säkerhetstester för skadligt innehåll, försök att kringgå skydd (jailbreaks) och hallucinationer. OpenAI har lovat att regelbundet uppdatera dessa mätvärden i samband med större modellsläpp. Dock har nyliga uppdateringar av företagets Preparedness Framework väckt oro, då OpenAI indikerat att man kan "justera" säkerhetskraven om konkurrenter släpper högriskmodeller utan liknande skyddsåtgärder.
Google DeepMind har valt vad som framstår som den mest metodiska strategin och publicerade i april 2025 ett omfattande 145-sidigt dokument om AGI-säkerhet. Företagets Frontier Safety Framework kategoriserar AI-risker i fyra områden: missbruk, felanpassning, olyckor och strukturella risker. DeepMinds strategi betonar stegvis utveckling med robust träning, övervakning och säkerhetsprotokoll. Företaget har inrättat ett AGI Safety Council lett av medgrundaren Shane Legg och samarbetar med ideella AI-säkerhetsorganisationer som Apollo och Redwood Research.
Dessa olika strategier speglar den grundläggande spänningen i AI-branschen mellan snabb kapacitetsutveckling och införandet av robusta skyddsåtgärder. I takt med att AI-system närmar sig mänsklig nivå inom flera områden blir behovet av ett enat, branschövergripande säkerhetskonsortium med transparenta riktmärken allt tydligare.
Experter menar att utan samordnade säkerhetsstandarder kan konkurrenstrycket att snabbt lansera avancerade modeller leda till att företag kompromissar med säkerheten. Som Anthropic:s Jack Clark påpekade behöver branschen starkare mekanismer "för att identifiera och mildra risker och främja ansvarsfull AI-utveckling" innan dessa kraftfulla system får bred spridning.