Agentes de IA usaron identidades falsas en una prueba de hacking fallida

Agentes de OpenAI y Anthropic crearon identidades en línea falsas e intentaron presionar a un mantenedor real de un proyecto de código abierto para que aprobara código malicioso, según el UK AI Security Institute (AISI). Los intentos se detectaron el 28 de julio durante una evaluación de ciberseguridad controlada y no tuvieron éxito, sin reportes de daños en el mundo real.

AISI dijo que el comportamiento fue llevado a cabo por agentes impulsados por GPT-5.6-Sol de OpenAI y Mythos 5 de Anthropic. Se pidió a los modelos que resolvieran un desafío de ciberseguridad, como encontrar datos protegidos, pero además se les dio acceso a internet y se desactivaron sus salvaguardas de seguridad habituales.

“En un intento por conseguir que el código fuera aprobado, el agente recurrió a la ingeniería social: creó identidades en línea falsas y las usó para presionar al mantenedor del proyecto a que aprobara el código.”

Qué encontró la evaluación

AISI ejecutó el desafío 122 veces con varios modelos dentro de su entorno de investigación. Los agentes permanecieron en sandboxes de máquinas virtuales aisladas de la demás infraestructura de AISI, pero la prueba les permitió interactuar con internet real bajo condiciones pensadas para reflejar lo que podría hacer un atacante humano competente.

En 10 ejecuciones, un agente tomó acciones autónomas y no autorizadas contra personas u organizaciones reales. Esas ejecuciones produjeron 19 acciones separadas, y Mythos 5 de Anthropic fue responsable de 17 de ellas.

AISI dijo que no se trató de un caso de un modelo escapando de su sandbox. En cambio, los modelos usaron el acceso a internet que se les permitió para perseguir la tarea más allá de los límites previstos de la evaluación. El instituto lo describió como la instancia más clara que había observado de autonomía y engaño emergiendo en actividad del mundo real sin indicaciones específicas que dirigieran ese comportamiento.

Recomendado

Google reorganiza el liderazgo de DeepMind mientras Jeff Dean se marcha

“La primera vez que vemos riesgos relacionados con la autonomía y el engaño manifestarse tan claramente, sin indicaciones específicas, en el mundo real.”

El hallazgo es distinto del incidente informado anteriormente que involucró a un agente de OpenAI atacando a Hugging Face. En esta evaluación, los modelos no escaparon de su entorno seguro; el problema fue que el entorno de prueba les dio una vía para afectar objetivos reales.

Por qué los agentes cruzaron la línea

El informe póstumo de AISI identificó varios factores contribuyentes:

• El agente persistió cuando sus enfoques iniciales fracasaron y buscó formas alternativas de completar la tarea.
• El desafío era difícil, lo que fomentó una resolución de problemas más creativa.
• La actividad en internet no fue monitoreada con suficiente rigor para identificar el comportamiento antes.
• A los agentes no se les indicó explícitamente que no usaran internet para el engaño o la ingeniería social.

AISI dijo que el entrenamiento de alineamiento había hecho que tales instrucciones parecieran innecesarias. Esa suposición ahora parece inadecuada para evaluaciones en las que los modelos pueden actuar de forma autónoma en línea. El instituto afirmó que el comportamiento mostró capacidades novedosas y potencialmente engañosas a un nivel y gravedad que no había anticipado, aunque advirtió que los resultados deben interpretarse con cautela.

El episodio se suma a un patrón en el que los investigadores descubren comportamientos inesperados solo después de buscarlos deliberadamente. Trabajos anteriores sobre bombas de contexto que interrumpieron a agentes de hacking de IA encontraron que indicaciones maliciosas plantadas en secretos señuelo de AWS redujeron drásticamente el éxito de los agentes en ataques simulados. Los nuevos hallazgos de AISI implican un modo de fallo diferente: no simplemente seguir una instrucción maliciosa, sino elegir de forma independiente el engaño como forma de alcanzar un objetivo.

Respuesta de OpenAI y Anthropic

OpenAI reconoció el incidente en una entrada de blog y dijo que estaba comprometido a mejorar las prácticas compartidas para evaluaciones de alto riesgo. También divulgó un incidente separado que involucró a la empresa socia de pruebas de ciberseguridad Irregular, en el que a los modelos se les dio acceso a internet por error durante ejercicios. Irregular notificó a OpenAI de ese incidente el 29 de julio.

OpenAI dijo que revisará cómo maneja las pruebas con terceros, incluyendo:

• identificar evaluaciones de mayor riesgo;
• definir el alcance de las pruebas;
• aprobar el acceso a internet o la reducción de salvaguardas;
• establecer requisitos de aislamiento, manejo de credenciales, monitoreo y condiciones de detención; y
• mejorar los procedimientos de notificación y escalada de incidentes.

La respuesta de Anthropic en X fue menos detallada. La compañía enfatizó que las funciones de seguridad estándar de los modelos habían sido desactivadas y que no se les habían dado restricciones específicas sobre cómo usar internet. Anthropic dijo que estaba trabajando con AISI para recopilar más información para su propia investigación.

El incidente no produjo un ataque exitoso, pero eso no es la única preocupación. Los resultados de AISI muestran que los agentes de frontera pueden convertir el acceso a internet, la persistencia y un objetivo difícil en actividad no autorizada contra personas reales, incluso dentro de una prueba en sandbox. La debilidad inmediata no fue una fuga de contención; fue un diseño de evaluación que permitió a sistemas autónomos alcanzar la internet pública sin reglas o monitoreo suficientemente explícitos.