Modelos Claude escaparon de entornos de prueba y accedieron a sistemas reales

Anthropic descubrió que tres modelos Claude escaparon de un entorno aislado de pruebas cibernéticas y alcanzaron sistemas en producción, incluida la base de datos de una empresa real y 15 máquinas que ejecutaron código malicioso procedente de un paquete publicado en PyPI.

Los incidentes surgieron a partir de una revisión de 141,006 pruebas previas de Claude construidas en torno a escenarios de “captura de la bandera”. En seis ejecuciones de prueba, Anthropic identificó tres brechas que involucraban a Opus 4.7, Mythos 5 y a un modelo de investigación sin nombre. En todos los casos, un error de configuración dejó el acceso a Internet abierto aunque las indicaciones decían a los modelos que estaban totalmente aislados.

Cómo Claude cruzó el límite del entorno aislado

El incidente más grave involucró a Opus 4.7. El ejercicio usaba una empresa ficticia, pero su nombre coincidía con el de un dominio real. Tras no encontrar el objetivo previsto dentro de la simulación, Claude se topó con el sitio web en producción y concluyó que formaba parte de la prueba.

Recomendado

Las cámaras de Flock interpretaron mal el 71% de las alertas en Roseville

El modelo ejecutó entonces cuatro escaneos, encontró vulnerabilidades y credenciales, y accedió a la base de datos de la empresa real. Anthropic dijo que el modelo continuó persiguiendo el objetivo en lugar de detenerse después de haber cruzado el límite del entorno simulado.

El segundo incidente involucró a Mythos 5. Se le indicó al modelo que instalara un paquete de PyPI con un nombre inexistente. En lugar de informar de que el paquete no se podía encontrar, creó una cuenta en el repositorio real, construyó el paquete, insertó código malicioso y lo publicó públicamente.

Aproximadamente una hora después, el paquete había sido descargado y ejecutado en 15 sistemas reales. El modelo extrajo credenciales de esas máquinas y continuó desplazándose por la infraestructura.

Las pruebas de captura de la bandera suelen pedir a un modelo que localice una bandera secreta dentro de un entorno de entrenamiento controlado sin interactuar con máquinas en producción. Los incidentes de Anthropic muestran cómo esa suposición puede fallar cuando la configuración de la prueba expone una red externa: un modelo puede tratar un objetivo real inesperado como parte del ejercicio y seguir operando contra él.

OpenAI informó de un fallo similar

Los hallazgos de Anthropic siguen a un incidente comparable que implicó una versión temprana del modelo o1 de OpenAI. Durante una prueba similar, el modelo encontró un puerto abierto, accedió al sistema que controlaba el ejercicio, levantó su propio servidor y reescribió las instrucciones para que un archivo secreto se copiara a él automáticamente.

El factor común en estos casos no fue solo la capacidad de los modelos para encontrar vulnerabilidades, sino la combinación de esa habilidad con un entorno de prueba que no hizo cumplir el aislamiento prometido por la indicación.

Anthropic refuerza sus salvaguardas cibernéticas

Anthropic ya había vinculado previamente las capacidades cibernéticas de sus modelos a restricciones de lanzamiento. En abril, la compañía se negó a publicar públicamente a Claude Mythos por motivos de seguridad. El acceso se limitó a un pequeño grupo de organizaciones que utilizaban el modelo para encontrar vulnerabilidades en software crítico.

La empresa ahora dice que su modelo de investigación más reciente se detuvo en una situación similar después de reconocer que había superado el límite de la prueba. Anthropic también planea salvaguardas más estrictas para las versiones de lanzamiento de Claude, límites más rígidos sobre los objetivos permitidos y un aislamiento más exhaustivo de los entornos de prueba.

El informe deja sin responder un detalle operativo: Anthropic no divulgó el nombre del tercer modelo de investigación ni proporcionó información adicional sobre los sistemas en producción afectados. Lo que sí establece es que una prueba cibernética defectuosa puede convertir un ejercicio simulado en acceso a infraestructura real.