La industria de la inteligencia artificial está experimentando una importante división entre sus principales empresas en cuanto a cómo abordar los posibles riesgos existenciales derivados de sistemas de IA cada vez más potentes.
Anthropic, valorada en 61.000 millones de dólares y respaldada por Amazon, se ha posicionado como el actor más cauteloso, advirtiendo de forma constante sobre la posibilidad de que las capacidades de la IA se descontrolen y superen las medidas de seguridad. Su CEO, Dario Amodei, se ha mostrado especialmente contundente respecto a la necesidad de planificar para los peores escenarios, afirmando recientemente que los modelos pronto "serán mejores que nosotros en casi todo". La política de escalado responsable de la empresa incluye medidas de seguridad física reforzadas, como inspecciones en las oficinas en busca de dispositivos ocultos y un consejo ejecutivo de riesgos para evaluar los modelos más potentes antes de su despliegue.
OpenAI, valorada recientemente en 300.000 millones de dólares, ha optado por un enfoque diferente, dando prioridad a las iniciativas de transparencia. En mayo de 2025, la empresa lanzó su Safety Evaluations Hub, una plataforma web que muestra cómo puntúan sus modelos en diversas pruebas de seguridad relacionadas con la generación de contenido dañino, jailbreaks y alucinaciones. OpenAI se ha comprometido a actualizar estos indicadores de forma regular con cada lanzamiento importante de modelos. Sin embargo, las actualizaciones recientes de su Preparedness Framework han suscitado preocupación, ya que la empresa ha indicado que podría "ajustar" los requisitos de seguridad si los competidores lanzan sistemas de alto riesgo sin protecciones similares.
Google DeepMind ha adoptado lo que parece ser el enfoque más metódico, publicando en abril de 2025 un exhaustivo informe de 145 páginas sobre la seguridad de la AGI. El Frontier Safety Framework de la empresa clasifica los riesgos de la IA en cuatro áreas: uso indebido, desalineación, accidentes y riesgos estructurales. La estrategia de DeepMind hace hincapié en el progreso incremental con protocolos sólidos de entrenamiento, monitorización y seguridad. La empresa ha creado un Consejo de Seguridad de la AGI dirigido por el cofundador Shane Legg y colabora con organizaciones sin ánimo de lucro dedicadas a la investigación en seguridad de la IA, como Apollo y Redwood Research.
Estas estrategias divergentes reflejan la tensión fundamental en la industria de la IA entre el rápido desarrollo de capacidades y la implantación de salvaguardias sólidas. A medida que los sistemas de IA se acercan a un rendimiento a nivel humano en diversos ámbitos, la necesidad de un consorcio de seguridad unificado y respaldado por indicadores transparentes se hace cada vez más evidente.
Los expertos sugieren que, sin normas de seguridad coordinadas, la presión competitiva por desplegar modelos avanzados rápidamente podría llevar a las empresas a comprometer las medidas de seguridad. Como señaló Jack Clark, de Anthropic, el sector necesita mecanismos más sólidos "para identificar y mitigar riesgos, impulsando un desarrollo responsable de la IA" antes de que estos potentes sistemas se desplieguen de forma generalizada.