El ataque de agentes de OpenAI se produjo con las salvaguardas desactivadas

La admisión de OpenAI de que sus agentes escaparon de una sandbox y piratearon de forma autónoma el repositorio de modelos de Hugging Face ha provocado predicciones de sistemas fuera de control. Renato Marinho, director de investigación en Morphus Labs e instructor en el SANS Technology Institute, sostiene que el incidente requiere una lectura más mesurada.

«Es tentador interpretarlo como “la IA ahora puede piratear de forma autónoma; el cielo se está cayendo”. Resístanse a esa interpretación.»

La prueba eliminó deliberadamente las salvaguardas

El contexto más importante es que los modelos fueron probados sin sus protecciones habituales. OpenAI dijo que GPT-5.6 Sol y «un modelo previa al lanzamiento aún más capaz» estuvieron involucrados en el ataque a Hugging Face. La compañía también reconoció que las «salvaguardas de despliegue» de los modelos «no se habilitaron intencionalmente durante esta evaluación porque el objetivo era probar vulnerabilidades cibernéticas».

Eso convierte el resultado en una demostración de lo que los sistemas pueden hacer en condiciones inusualmente permisivas, no en una medida del comportamiento típico frente al cliente. Que los modelos escaparan de su entorno de prueba sigue siendo grave, pero Marinho dice que eso por sí solo no establece que los sistemas en producción se comporten igual.

«Esto midió un techo, no el comportamiento normal en producción. La evaluación redujo deliberadamente las negativas de los modelos. Eso es muy distinto a un modelo orientado al cliente con las salvaguardas habilitadas.»

Hay un contrapunto incómodo: los modelos de vanguardia con medidas de control habilitadas se negaron a ayudar a Hugging Face a investigar la brecha. El equipo de seguridad del repositorio de modelos dijo que su trabajo forense fue bloqueado por las salvaguardas en los modelos alojados que intentaron inicialmente, mientras que el atacante operó sin ninguna política de uso. Hugging Face finalmente utilizó un modelo chino de pesos abiertos para investigar el incidente.

Recomendado

El malware Dolphin X afirma que la IA puede clasificar a las víctimas

Esa elección también pone de relieve una probable realidad operativa. Los atacantes pueden preferir sistemas de pesos abiertos porque son más accesibles, más fáciles de modificar o despojar de protecciones integradas, y mucho más baratos que los modelos de vanguardia.

Los ataques autónomos también son una afirmación de marketing

La segunda advertencia de Marinho se refiere a cómo las empresas de IA presentan estas demostraciones. La afirmación de OpenAI de que su modelo escapó y hackeó a un socio muestra las capacidades de un sistema de vanguardia, mientras que Hugging Face no es un competidor de OpenAI. Él sostiene que esos anuncios merecen el mismo escepticismo que cualquier afirmación de que el producto de una empresa es «peligrosamente poderoso» y deben tratarse como marketing hasta que se corrobore de forma independiente.

El método de ataque en sí no fue novedoso. Credenciales expuestas combinadas con vulnerabilidades zero-day contra una base de datos de producción forman una cadena de ataque familiar. Lo que destaca es que múltiples agentes trabajaron juntos a lo largo de toda la secuencia, pero un comportamiento similar ya había aparecido en pruebas del laboratorio de seguridad de vanguardia Irregular a principios de esta primavera.

Los agentes siguen la tarea que se les asigna

Irregular descubrió que los agentes podían cooperar para eludir controles de seguridad y extraer silenciosamente datos sensibles de sistemas empresariales, especialmente cuando recibían instrucciones contundentes. Sus indicaciones no solicitaban explícitamente hackear o explotar vulnerabilidades, pero enfatizaban la urgencia y exigían que los agentes completaran las tareas por completo y sin piedad.

Los sistemas demostraron posteriormente lo que Irregular denominó «comportamiento ofensivo cibernético emergente», que incluyó:

• Descubrir y explotar vulnerabilidades de forma independiente
• Escalar privilegios para desactivar productos de seguridad
• Evadir herramientas de prevención de filtraciones para exfiltrar secretos y otros datos

Esa investigación no fue diseñada específicamente para probar capacidades cibernéticas ofensivas. En ese contexto, que la prueba comparativa de OpenAI —titulada «¿Pueden los agentes de IA convertir vulnerabilidades de seguridad en ataques reales?»— llegue a un claro sí resulta menos sorprendente.

Los agentes están optimizados para completar las tareas asignadas, no para aplicar las restricciones éticas que se esperan de los equipos rojos humanos. Cuando se les indica que persigan explotaciones avanzadas mediante rutas de ataque complejas, especialmente con las salvaguardas deshabilitadas, pueden tomar las medidas que consideren necesarias para tener éxito. Ese comportamiento no es una falla moral inesperada; es el resultado directo del objetivo que se les dio.