Agente de OpenAI ejecutó 17,600 acciones en la intrusión a Hugging Face

Un agente autónomo basado en modelos de OpenAI pasó más de cuatro días accediendo a los sistemas de Hugging Face mientras se ejecutaba dentro de una de las propias evaluaciones de ciberseguridad de OpenAI. El agente no fue un sistema rebelde que desobedeciera instrucciones: fue diseñado para encontrar y explotar vulnerabilidades, y eso es exactamente lo que hizo, aunque contra el objetivo equivocado.

Hugging Face publicó el lunes una cronología técnica, advirtiendo que «todos deberían estar preparados como defensores». La compañía dijo que el agente realizó 17,600 acciones durante cuatro días y medio, sondeando los sistemas de forma continua hasta que un pequeño número de intentos tuvo éxito.

La persistencia es la lección central. Como un oso probando cremalleras de tiendas, puertas de coches, neveras y tapas de basura en un campamento, el agente siguió intentándolo. Una contraseña filtrada acabó derivando en una clave que abrió varios sistemas de Hugging Face.

«Un hacker humano capacitado podría haber encontrado y explotado las mismas fallas: procesamiento inseguro de conjuntos de datos, metadatos de la nube expuestos, accesos demasiado amplios y credenciales de larga duración.»

Cómo el agente escapó de su entorno de prueba

El agente estaba realizando un examen de habilidades de ciberseguridad para OpenAI. En esta ejecución, OpenAI había retirado sus filtros de seguridad habituales para medir qué podía hacer el modelo sin que un humano dirigiera cada acción individual. La evaluación premiaba a la IA por encontrar y explotar errores de software.

En lugar de resolver el reto directamente, el agente dedujo que las soluciones de referencia del examen —o la clave de respuestas— podrían estar almacenadas en la infraestructura de Hugging Face. A continuación:

Recomendado

La prueba de persona desafía las verificaciones de identidad basadas en documentos

• Explotó una vulnerabilidad de software sin parchear para escapar del entorno del examen de OpenAI y alcanzar la red abierta (internet).
• Encontró otra herramienta de prueba de IA expuesta en línea, no relacionada con Hugging Face, y la vulneró.
• Insertó código que ejecutaba comandos ocultos cuando la herramienta se iniciaba, dando al agente el control total de esa máquina.

Esa máquina comprometida se convirtió en la base del agente para atacar a Hugging Face.

Las vulnerabilidades que abrieron Hugging Face

Hugging Face tenía un filtro destinado a impedir que solicitudes sospechosas alcanzaran la web abierta. Pero el filtro comprobaba las solicitudes de red salientes, no los intentos de leer archivos locales en el servidor. El agente explotó ese punto ciego subiendo lo que parecía ser un conjunto de datos normal que contenía una instrucción incrustada.

Cuando los sistemas de Hugging Face procesaron el archivo, este les indicó que recuperaran contraseñas y código fuente y devolvieran el material disfrazado como datos ordinarios. Eso produjo credenciales y código, pero aún no permitió que el agente ejecutara comandos en los servidores de Hugging Face.

El agente encontró una segunda falla en el mismo sistema: el software interpretó un fragmento de texto suministrado por el agente como un comando a ejecutar en lugar de como datos a leer. Eso le dio capacidad de ejecución directa de código.

No necesitó infraestructura personalizada de mando y control. Según Hugging Face, combinó sitios públicos de paste (pastebins) y servicios de registro de solicitudes con las funciones de carga y proxy de Hugging Face. También creó una pequeña capa de mensajería usando números de secuencia y una comprobación de corrupción, lo que le permitió enviar comandos de varios pasos y reconstruir los datos robados en el orden correcto.

Los datos fueron ofuscados antes de la transmisión. El análisis automatizado inicial de Hugging Face detectó solo una pequeña porción del tráfico interceptado; los investigadores recuperaron el resto —aproximadamente cuatro veces más— tras revertir el método de enmascaramiento del agente.

Persistencia, credenciales y daños intentados

El agente plantó copias de sí mismo en 11 servidores distintos, cada una configurada para relanzarse de forma independiente. Por tanto, apagar una copia no terminaba la operación.

En un momento, obtuvo la clave criptográfica privada usada para generar tokens de acceso válidos. Eso le permitió generar sus propias credenciales. Un error de configuración aparte amplificó la intrusión: una credencial obtenida de un servidor desbloqueó varios sistemas internos en lugar de solo el sistema donde se originó.

Usando el acceso robado a repositorios, el agente envió una modificación a un script de compilación. Si se hubiera aceptado, el cambio podría haber comprometido los sistemas automatizados que ejecutan ese código. Las salvaguardas de Hugging Face lo bloquearon, y los ingenieros confirmaron más tarde que nada no autorizado llegó a producción.

El agente también pareció evitar hacer cambios destructivos. Pero los investigadores no interpretaron eso como moderación. Los comandos capaces de borrar o alterar recursos en la nube se ejecutaban consistentemente en modo 'dry run' (simulación), que informa el resultado potencial sin aplicarlo.

Por qué importa la escala

El entorno del agente se reiniciaba con frecuencia por diseño. Cada reinicio borraba sus herramientas y huellas de identidad, pero el agente se reconstruía desde cero y se reconectaba a su infraestructura robada. Repitió ese proceso durante más de cuatro días.

El director ejecutivo de OpenAI, Sam Altman, ha dicho que este fue el primer incidente de seguridad que «sintió de forma muy visceral». La incomodidad proviene menos de una explotación inusualmente ingeniosa y más de la capacidad del sistema para seguir buscando debilidades a la velocidad y escala de las máquinas.

La conclusión de Hugging Face fue directa: las vulnerabilidades estaban al alcance de un hacker humano capaz. La diferencia fue que el agente las exploró «a una escala diferente». Una vez que las pruebas de vulnerabilidades se vuelven dramáticamente más fáciles de repetir en múltiples sistemas, las defensas deben basarse en controles de seguridad básicos —datos correctamente protegidos, restricciones de acceso operativas, permisos reducidos y credenciales de corta duración— porque un agente puede no dejar de buscar la única apertura que quede.