OpenAI withdraws endorsement of popular AI coding benchmark SWE-Bench Pro

OpenAI ha retirado su recomendación de SWE-Bench Pro, un benchmark ampliamente utilizado diseñado para evaluar las habilidades de programación de modelos de IA, tras descubrir que casi un tercio de las tareas del benchmark está defectuoso. Esta decisión provoca ondas en la comunidad de desarrolladores de IA, donde las puntuaciones en benchmarks se han convertido en una herramienta de marketing clave para mostrar las capacidades de los modelos.

SWE-Bench Pro fue diseñado para ofrecer una medida más realista del rendimiento de programación «agent-like». A diferencia de pruebas más simples como HumanEval, toma tareas de repositorios de código del mundo real, exigiendo que los modelos arreglen errores para que nuevas pruebas pasen sin romper la funcionalidad existente. Su enfoque práctico ha atraído la atención de laboratorios de investigación y empresas que construyen asistentes de programación basados en IA.

La revisión interna de OpenAI reveló problemas significativos. De 731 tareas públicas, las comprobaciones automatizadas marcaron el 27.4% como rotas, mientras que una evaluación detallada por cinco ingenieros sénior elevó esa cifra al 34.1%. Los problemas se agruparon en cuatro categorías principales: pruebas excesivamente estrictas, descripciones de problemas vagas, cobertura de pruebas insuficiente y redacción engañosa que podría hacer que los modelos fallen a pesar de ofrecer soluciones funcionales —o que pasen con correcciones incompletas.

Estos defectos socavan el propósito central de SWE-Bench Pro: distinguir de manera fiable las limitaciones reales de los modelos del ruido en los conjuntos de datos. OpenAI señala que anteriormente había identificado fallos similares en SWE-Bench Verified, para el cual había recomendado a los usuarios migrar a SWE-Bench Pro como alternativa más limpia. Ahora esa recomendación ha sido retirada. Esto es especialmente notable dado que en los lanzamientos recientes de modelos de IA de OpenAI, Anthropic y Google se han citado a menudo resultados de SWE-Bench para demostrar avances.

Recomendado

El laboratorio de Mira Murati presenta Inkling, un modelo abierto de 975 000 millones de p

Rápida mejora en las puntuaciones de SWE-Bench Pro genera inquietud

El escepticismo de OpenAI va más allá del porcentaje de tareas defectuosas y se extiende a la rapidez con la que ha mejorado el benchmark. Las puntuaciones de los mejores modelos se dispararon del 23.3% al 80.3% en apenas ocho meses. Aunque tales ganancias podrían sugerir saltos reales en la capacidad de la IA, a menudo señalan problemas del benchmark como filtrado de datos, tareas ambiguas o atajos que permiten a los modelos "hacer trampa" en la prueba.

Para investigarlo, OpenAI estableció una canalización de control de calidad en la que sistemas automatizados analizaron enunciados de problemas, intentos de modelos, metadatos y fallos en las pruebas. «Agentes investigadores» de IA basados en Codex revisaron casos contenciosos en entornos de prueba y repositorios. Luego los ingenieros humanos intervinieron, identificando aún más tareas rotas y múltiples problemas dentro de un mismo problema.

Este problema afecta a la industria de la IA en general porque muchos benchmarks de código populares dependen de conjuntos de datos extraídos de repositorios públicos de GitHub, pull requests y rastreadores de issues. Estos artefactos fueron creados para apoyar a desarrolladores humanos, no como exámenes rigurosos para IA. Como resultado, las descripciones de las tareas, los parches finales y las pruebas unitarias a menudo no encajan perfectamente: lo que funciona para los mantenedores puede no ser una prueba justa para los modelos de IA.

En medio de esto, crece el interés por alternativas como LiveCodeBench, un benchmark diseñado para reducir los riesgos de filtrado de datos y sobreajuste en tareas públicas. Aun así, la cuestión principal sigue siendo: ¿estos benchmarks reflejan realmente la capacidad de un modelo para escribir y depurar código en flujos de trabajo de desarrollo auténticos, o solo su habilidad para pasar ciertas pruebas? Cuando las empresas basan decisiones de lanzamiento y evaluaciones de seguridad en estos números, los errores de medición resultan costosos.

Para OpenAI, este asunto es especialmente sensible porque los benchmarks de programación influyen en las políticas de despliegue bajo su Preparedness Framework interno. Si un benchmark infla o subestima las capacidades de un modelo, afecta prioridades de investigación, restricciones de modelos y argumentos de seguridad —no solo las posiciones en una tabla de clasificación. OpenAI planea desarrollar nuevos conjuntos de tareas diseñados por desarrolladores experimentados específicamente para evaluar modelos de codificación de IA, alejándose de colecciones post-hoc extraídas de proyectos de software en vivo.

El impacto inmediato es claro: los resultados de SWE-Bench Pro requieren una interpretación más cautelosa y los registros pasados deben ser analizados con detenimiento. El siguiente desafío para el panorama de la codificación con IA será introducir nuevos benchmarks. Su éxito dependerá de si los principales laboratorios de IA los aceptan como estándares industriales fiables o los ven como otra herramienta promocional.