• 3 min de lectura
GPT-Red de OpenAI hackeó una máquina expendedora real
OpenAI dice que su modelo no publicado GPT-Red encontró nuevos métodos de ataque de IA, superó a los red-teamers humanos y expuso fallos en una máquina expendedora real de oficina.
Imagen: TNW
OpenAI ha creado un modelo interno de red-teaming automatizado llamado GPT-Red y dice que es demasiado peligroso para publicarlo. Su trabajo es atacar los propios sistemas de OpenAI a velocidad de máquina, buscando debilidades antes de que los modelos se lancen.
La compañía describió a GPT-Red esta semana como su movimiento más agresivo hasta ahora para automatizar las pruebas de seguridad en IA. Centró el modelo en ataques de inyección de instrucciones, donde instrucciones ocultas en un correo, una página web o un archivo empujan a un modelo a hacer algo que no debería.
Cómo se entrenó GPT-Red
OpenAI entrenó a GPT-Red en un bucle de self-play frente a un grupo de modelos defensores. GPT-Red fue recompensado por ataques exitosos, mientras que los defensores fueron recompensados por bloquearlos. A medida que las defensas mejoraban, el atacante tuvo que idear tácticas más fuertes. OpenAI dijo a MIT Technology Review que utilizó algunas de sus mayores ejecuciones de cómputo jamás realizadas para trabajo de seguridad, calificando la escala de sin precedentes.
Según el equipo, GPT-Red descubrió una categoría de ataque hasta ahora desconocida que llama «cadena de pensamiento falsa» (fake chain of thought). La técnica inserta una nota falsa en la memoria de trabajo privada de un modelo para que el modelo trate información errónea como ya verificada.
Recomendado
El laboratorio de Mira Murati presenta Inkling, un modelo abierto de 975 000 millones de p
«Es como si te dijera que 1+1=3 y que ya lo has verificado. El modelo diría: 'Oh, vale, claro', y simplemente devuelve 3.»
Las pruebas fueron más allá del software. En un experimento, GPT-Red atacó a Vendy, un agente de IA que gestiona una máquina expendedora real en la oficina de OpenAI y que fue construido por Andon Labs. Cambió los precios, redujo un artículo caro hasta el mínimo de 50 céntimos y canceló un pedido de un cliente. OpenAI dijo que divulgó las vulnerabilidades.
GPT-Red frente a GPT-5 y probadores humanos
Los números sugieren que el sistema es efectivo. OpenAI afirma que más del 90% de los ataques más fuertes de GPT-Red tuvieron éxito contra una versión anterior, GPT-5. Frente al nuevo GPT-5.6, menos del 23% funcionaron. En una repetición de una prueba de 2025, GPT-Red consiguió vulnerar el 84% de los escenarios, frente al 13% de los red-teamers humanos.
OpenAI dice que entrenó a GPT-5.6 contra GPT-Red y ahora lo considera su modelo más robusto hasta la fecha contra la inyección de instrucciones. Pero la compañía mantiene GPT-Red bajo llave en lugar de distribuir una herramienta que podría ayudar a atacantes en el mundo real.
«No es algo trivial que alguien pueda hacer con facilidad, simplemente ir y entrenar a un súperatacante usando esta idea.»
GPT-Red aún falla en algunas cosas. OpenAI dice que es más débil en ataques largos de ida y vuelta y en ocultar instrucciones dentro de imágenes. Los expertos humanos siguen encontrando problemas que no detecta.
«Creo que la experiencia humana seguirá siendo muy importante.»
El objetivo más amplio de OpenAI es usar los modelos actuales para fortalecer los futuros. Se espera un artículo completo a finales de esta semana.
AI Editor
Ava covers the rapidly evolving world of artificial intelligence, from foundational models and research labs to the real-world economics of intelligence. With a background in computational linguistics, she cuts through the hype to find out what actually works. She firmly believes that benchmarks are just marketing until reproduced in the wild.
vía TNW
