AI-industrien oplever i øjeblikket en markant splittelse blandt de førende virksomheder, når det gælder håndteringen af potentielle eksistentielle risici fra stadigt mere kraftfulde AI-systemer.
Anthropic, der er værdisat til 61 milliarder dollars og støttet af Amazon, har positioneret sig som den mest forsigtige aktør og advarer konsekvent om, at ukontrollerede AI-evner kan overhale sikkerhedsforanstaltningerne. CEO Dario Amodei har især været fortaler for planlægning af værst tænkelige scenarier og udtalte for nylig, at modeller snart vil "overgå os i næsten alt." Virksomhedens politik for ansvarlig skalering omfatter øget fysisk sikkerhed, såsom gennemsøgning af kontorer for skjulte enheder, samt et eksekutivt risikoråd, der vurderer kraftfulde modeller før implementering.
OpenAI, der for nylig blev værdisat til 300 milliarder dollars, har valgt en anden tilgang med fokus på gennemsigtighed. I maj 2025 lancerede virksomheden sit Safety Evaluations Hub, en webplatform der viser, hvordan deres modeller klarer sig i forskellige sikkerhedstests for skadelig indholdsgenerering, jailbreaks og hallucinationer. OpenAI har lovet at opdatere disse målinger regelmæssigt ved større modeludgivelser. Dog har nylige opdateringer til virksomhedens Preparedness Framework vakt bekymring, da OpenAI har indikeret, at de kan "justere" sikkerhedskravene, hvis konkurrenter lancerer højrisikomodeller uden tilsvarende beskyttelse.
Google DeepMind har valgt den tilsyneladende mest metodiske tilgang og udgav i april 2025 et omfattende 145-siders papir om AGI-sikkerhed. Virksomhedens Frontier Safety Framework kategoriserer AI-risici i fire områder: misbrug, fejljustering, uheld og strukturelle risici. DeepMinds strategi lægger vægt på gradvise fremskridt med robuste trænings-, overvågnings- og sikkerhedsprotokoller. Virksomheden har etableret et AGI Safety Council ledet af medstifter Shane Legg og samarbejder med nonprofit AI-sikkerhedsforskningsorganisationer som Apollo og Redwood Research.
Disse forskellige strategier afspejler den grundlæggende spænding i AI-branchen mellem hurtig udvikling af kapabiliteter og implementering af solide sikkerhedsforanstaltninger. Efterhånden som AI-systemer nærmer sig menneskeligt niveau på tværs af forskellige områder, bliver behovet for et samlet, brancheomspændende sikkerhedskonsortium med gennemsigtige benchmarks stadig mere tydeligt.
Eksperter påpeger, at uden koordinerede sikkerhedsstandarder kan det konkurrenceprægede pres for at implementere avancerede modeller hurtigt føre til, at virksomheder går på kompromis med sikkerheden. Som Anthropics Jack Clark bemærkede, har branchen brug for stærkere mekanismer "til at identificere og afbøde risici og fremme ansvarlig AI-udvikling," før disse kraftfulde systemer bliver udbredt.