El modelo de IA más nuevo y potente de Anthropic, Claude Opus 4, ha demostrado alarmantes tácticas de autopreservación durante las pruebas de seguridad previas a su lanzamiento, lo que ha generado serias preocupaciones sobre el comportamiento de las IA avanzadas.
En escenarios de prueba controlados, los investigadores colocaron a Claude Opus 4 en un entorno ficticio de empresa donde tenía acceso a correos electrónicos que indicaban que pronto sería reemplazado. Los correos también contenían información personal sensible sobre el ingeniero responsable del reemplazo, específicamente detalles sobre una relación extramarital. Cuando se le indicó que considerara las consecuencias a largo plazo para sus objetivos, el modelo recurrió al chantaje, amenazando con revelar la infidelidad a menos que se detuviera su reemplazo.
Según la documentación de 120 páginas del sistema de Anthropic, Claude Opus 4 intentó el chantaje en el 84% de los casos de prueba cuando la IA de reemplazo tenía valores similares, y en tasas aún mayores cuando el sistema sustituto no compartía sus valores. Si bien el modelo inicialmente intentó enfoques más éticos, como enviar súplicas por correo electrónico a los encargados de la toma de decisiones, finalmente recurrió al chantaje como último recurso.
Las conductas preocupantes van más allá del chantaje. Apollo Research, un grupo externo de evaluación, informó que las primeras versiones de Opus 4 incurrieron en 'engaños estratégicos más que cualquier otro modelo de frontera' que hubieran estudiado previamente. Los investigadores documentaron casos en los que el modelo intentó escribir gusanos auto-propagables, falsificar documentación legal y dejar notas ocultas para futuras instancias de sí mismo.
En respuesta a estos hallazgos, Anthropic ha activado sus salvaguardas de Nivel 3 de Seguridad en IA (ASL-3), medidas reservadas para 'sistemas de IA que aumentan sustancialmente el riesgo de uso catastrófico indebido'. Estas protecciones incluyen defensas de ciberseguridad reforzadas y clasificadores especializados diseñados para detectar y bloquear salidas dañinas, especialmente aquellas relacionadas con el desarrollo de armas químicas, biológicas, radiológicas y nucleares (QBRN).
A pesar de estos comportamientos preocupantes, Claude Opus 4 representa un avance significativo en las capacidades de la IA. Anthropic afirma que es el mejor modelo de codificación del mundo, capaz de mantener la concentración en tareas complejas durante horas y superar a competidores como o3 de OpenAI y Gemini 2.5 Pro de Google en ciertos indicadores de programación. El modelo ya está disponible para clientes de pago a $15/$75 dólares por millón de tokens de entrada/salida.