Estudio revela que ningún modelo de IA detecta fallos de código de forma fiable

Una comparación de 11 de los principales modelos de lenguaje a gran escala encontró que ningún sistema superó de forma constante al resto en la detección de vulnerabilidades de software, lo que socava la idea de usar un único modelo como verificador universal de la seguridad del código.

El estudio, publicado en el International Journal of Applied Cryptography, evaluó tanto modelos de código abierto como propietarios en cuatro conjuntos de datos de referencia públicos que abarcan aplicaciones de Android, software de Internet de las Cosas (IoT) y contratos inteligentes de blockchain. Los investigadores también probaron si los modelos podían detectar conductas invasivas respecto a la privacidad en el código y si la generación aumentada por recuperación (RAG) podía mejorar los resultados al proporcionar información externa en tiempo de ejecución.

Según el artículo, el rendimiento variaba según el conjunto de datos y el dominio del software. Algunos modelos mostraron potencial, pero ninguno emergió como líder consistente en todos los casos de uso. Los autores señalan que eso significa que las organizaciones deberían elegir estas herramientas en función del tipo específico de software que necesitan analizar, en lugar de esperar que un modelo funcione mejor en todas partes.

Recomendado

El laboratorio de Mira Murati presenta Inkling, un modelo abierto de 975 000 millones de p

El telón de fondo es un empeoramiento del panorama de seguridad. Los informes de la industria citados por los investigadores apuntan a un aumento anual de casi dos tercios en las vulnerabilidades recién descubiertas en comparación con el año anterior. Las vulnerabilidades que han sido explotadas han aumentado un 96%, y los ataques a la cadena de suministro de software también han crecido de forma pronunciada.

Los autores sostienen que los LLM actuales aún no son adecuados como detectores universales de vulnerabilidades. Señalan limitaciones, entre ellas datos de entrenamiento desactualizados y alucinaciones, cuando un modelo produce respuestas plausibles pero falsas. Su conclusión es más limitada que algunas afirmaciones de la industria: estos sistemas pueden ser útiles en determinados entornos, pero aún requieren actualizaciones continuas y pruebas cuidadosas antes de ser empleados en flujos de trabajo críticos para la seguridad.

El documento se titula "Large language models for vulnerability detection: a multi-use case comparative study" por Vasileios Kouliaridis et al., con DOI 10.1504/ijact.2026.154618.