La industria de la inteligencia artificial está presenciando una división significativa entre sus principales empresas respecto a cómo abordar los posibles riesgos existenciales derivados de sistemas de IA cada vez más poderosos.
Anthropic, valorada en 61 mil millones de dólares y respaldada por Amazon, se ha posicionado como el actor más cauteloso, advirtiendo de manera constante sobre las capacidades incontroladas de la IA que podrían superar las medidas de seguridad. El CEO Dario Amodei ha sido especialmente enfático en la necesidad de planificar para los peores escenarios, declarando recientemente que los modelos pronto "serán mejores que nosotros en casi todo". La política de escalamiento responsable de la empresa incluye medidas de seguridad física reforzadas, como revisiones en oficinas para detectar dispositivos ocultos y un consejo ejecutivo de riesgos encargado de evaluar modelos potentes antes de su despliegue.
OpenAI, valorada recientemente en 300 mil millones de dólares, ha adoptado un enfoque diferente al enfatizar iniciativas de transparencia. En mayo de 2025, la empresa lanzó su Centro de Evaluaciones de Seguridad, una plataforma web que muestra cómo sus modelos obtienen puntuaciones en diversas pruebas de seguridad para generación de contenido dañino, vulneraciones y alucinaciones. OpenAI se comprometió a actualizar estas métricas de manera regular con cada lanzamiento importante de modelos. Sin embargo, actualizaciones recientes a su Marco de Preparación han generado inquietudes, ya que la empresa indicó que podría "ajustar" los requisitos de seguridad si sus competidores lanzan sistemas de alto riesgo sin protecciones similares.
Google DeepMind ha adoptado lo que parece ser el enfoque más metódico, publicando en abril de 2025 un extenso documento de 145 páginas sobre la seguridad de la AGI. El Marco de Seguridad Frontier de la empresa categoriza los riesgos de la IA en cuatro áreas: uso indebido, desalineación, accidentes y riesgos estructurales. La estrategia de DeepMind enfatiza el progreso incremental con protocolos sólidos de entrenamiento, monitoreo y seguridad. La empresa ha establecido un Consejo de Seguridad de AGI liderado por el cofundador Shane Legg y colabora con organizaciones sin fines de lucro dedicadas a la investigación en seguridad de IA, como Apollo y Redwood Research.
Estas estrategias divergentes reflejan la tensión fundamental en la industria de la IA entre el desarrollo acelerado de capacidades y la implementación de salvaguardas robustas. A medida que los sistemas de IA se acercan al desempeño a nivel humano en diversos ámbitos, la necesidad de un consorcio de seguridad unificado y respaldado por indicadores transparentes se vuelve cada vez más evidente.
Expertos sugieren que, sin estándares de seguridad coordinados, la presión competitiva para desplegar modelos avanzados rápidamente podría llevar a las empresas a comprometer las medidas de seguridad. Como señaló Jack Clark de Anthropic, la industria necesita mecanismos más sólidos "para identificar y mitigar riesgos, impulsando el desarrollo responsable de la IA" antes de que estos sistemas potentes se implementen de manera generalizada.