Průmysl umělé inteligence je svědkem výrazného rozkolu mezi svými předními společnostmi ohledně toho, jak čelit potenciálním existenčním rizikům vyplývajícím ze stále výkonnějších AI systémů.
Anthropic, oceněný na 61 miliard dolarů a podporovaný Amazonem, se profiluje jako nejopatrnější hráč, který opakovaně varuje před tím, že nekontrolované schopnosti AI mohou předběhnout bezpečnostní opatření. Generální ředitel Dario Amodei je zvláště hlasitým zastáncem plánování nejhorších scénářů a nedávno prohlásil, že modely brzy „budou lepší než my téměř ve všem“. Politika zodpovědného škálování společnosti zahrnuje zvýšená fyzická bezpečnostní opatření, jako jsou prohlídky kanceláří kvůli skrytým zařízením, a zřízení výkonné rady pro posuzování rizik, která hodnotí výkonné modely před jejich nasazením.
OpenAI, jehož hodnota nedávno dosáhla 300 miliard dolarů, zvolil odlišný přístup a zdůrazňuje transparentnost. V květnu 2025 společnost spustila Safety Evaluations Hub, webovou platformu zobrazující, jak si její modely vedou v různých bezpečnostních testech zaměřených na generování škodlivého obsahu, prolomení ochranných opatření a halucinace. OpenAI se zavázal tyto metriky pravidelně aktualizovat při vydání hlavních modelů. Nedávné úpravy Preparedness Frameworku však vyvolaly obavy, protože společnost naznačila, že by mohla „upravovat“ bezpečnostní požadavky v případě, že konkurence uvede na trh vysoce rizikové systémy bez podobných ochran.
Google DeepMind zvolil zřejmě nejmetodičtější přístup, když v dubnu 2025 zveřejnil obsáhlou 145stránkovou studii o bezpečnosti AGI. Jeho Frontier Safety Framework kategorizuje rizika AI do čtyř oblastí: zneužití, nesoulad, nehody a strukturální rizika. Strategie DeepMind klade důraz na postupný pokrok s robustním tréninkem, monitorováním a bezpečnostními protokoly. Společnost zřídila AGI Safety Council vedenou spoluzakladatelem Shanem Leggem a spolupracuje s neziskovými organizacemi zabývajícími se bezpečností AI, jako jsou Apollo a Redwood Research.
Tyto rozdílné strategie odrážejí základní napětí v AI průmyslu mezi rychlým rozvojem schopností a zaváděním robustních bezpečnostních opatření. Jak se AI systémy blíží lidské úrovni výkonu v různých oblastech, potřeba jednotného, napříč odvětvím působícího bezpečnostního konsorcia podpořeného transparentními standardy je stále zřejmější.
Odborníci varují, že bez koordinovaných bezpečnostních standardů by konkurenční tlak na rychlé nasazení pokročilých modelů mohl vést společnosti ke kompromisům v oblasti bezpečnosti. Jak poznamenal Jack Clark z Anthropic, odvětví potřebuje silnější mechanismy „pro identifikaci a zmírňování rizik a podporu odpovědného rozvoje AI“ ještě před tím, než budou tyto výkonné systémy široce nasazeny.