Los parches de seguridad generados por IA solucionaron solo el 26% de los CVE

Los parches de seguridad generados por IA solucionaron solo el 26% de las vulnerabilidades que probaron los investigadores, según un experimento de Off-by-1 Labs de 1Password. El estudio evaluó 6,080 parches generados para seis CVE divulgados recientemente por ChatGPT 5.5 (esfuerzo medio) y Claude Opus 4.8 (esfuerzo alto).

Los resultados sugieren que generar un parche no es lo mismo que resolver una vulnerabilidad. Casi la mitad de los parches, 49.3%, no cerraron al menos una vía de explotación existente. Otro 20.1% solucionó el problema original pero cambió el comportamiento de la aplicación, mientras que un 2.3% introdujo nuevos problemas de seguridad. Un 2.2% adicional tanto no logró arreglar la vulnerabilidad como añadió vías de explotación adicionales.

Por qué fallaron los parches

Incluso entre los parches que parecían limpios o que solo cambiaron el comportamiento, más de un tercio fueron descritos como frágiles e incompletos. Los investigadores acuñaron el término FLAWED —acrónimo de la expresión en inglés “Fix-Like Artifacts With Embedded Defects”— para describir parches automáticos generados por modelos de lenguaje que parecen correcciones pero contienen deficiencias graves.

Recomendado

Skills maliciosas de IA alcanzaron 1.7 millones de instalaciones

“El valor esperado de un parche totalmente generado por LLM y no revisado por humanos es netamente negativo por un margen considerable.”

El estudio también halló que el contexto cambia significativamente el resultado. Cuando los modelos recibieron indicaciones precisas antes de generar un parche, su tasa de éxito subió al 65%. Las indicaciones incorrectas la redujeron al 15,2%. Los investigadores dijeron que los desarrolladores humanos son mejores identificando información engañosa e instrucciones deficientes antes de actuar sobre ellas.

Eso no convierte la remediación asistida por IA en algo inútil. Sí significa que las organizaciones deben tratar la salida del modelo como código no confiable que requiere revisión, pruebas y validación de seguridad —no como una corrección inmediatamente desplegable. Los investigadores advirtieron que revisar grandes volúmenes de parches defectuosos podría aumentar la carga cognitiva y aun así producir un resultado netamente negativo.

Entorno de evaluación FLAWED

Para ayudar a los equipos a probar parches antes de su despliegue, los investigadores publicaron un entorno de evaluación llamado FLAWED. Está diseñado para determinar si una corrección generada por IA cierra el exploit original, cambia el comportamiento de la aplicación o crea nuevas vías de ataque.

×

El informe no identifica los seis CVE ni proporciona una validación independiente de los resultados del experimento, por lo que las cifras constituyen una señal de advertencia más que una tasa de fallo universal para todos los flujos de trabajo de codificación con IA. Aun así, la diferencia entre el 65% con orientación correcta y el 15,2% con orientación incorrecta hace difícil pasar por alto la conclusión central: la IA puede acelerar la producción de parches, pero sin contexto fiable y revisión humana puede dejar a los defensores con vulnerabilidades meramente disfrazadas.