SWE-bench Pro: el benchmark de código que tumba a los agentes de IA

En este artículo verás:

• ¿Qué es SWE-bench Pro y por qué es más difícil que Verified.
• Los números oficiales: 1.865 tareas, 41 repositorios, tres subconjuntos.
• El marcador actual: Muse Spark 1.1 lidera con 61,5% en el conjunto público.
• Por qué el desempeño cae en tareas que exigen más líneas y archivos.
• Los límites del benchmark y cómo usarlo en la práctica.

¿Qué es SWE-bench Pro

El SWE-bench Pro es un benchmark de Scale Labs (Scale AI) para evaluar agentes de IA en tareas de ingeniería de software. Fue creado para corregir limitaciones de las pruebas anteriores: contaminación de datos, tareas cortas y repositorios públicos ya vistos en el entrenamiento.

Cada tarea pide al agente que resuelva un problema real en un repositorio existente. El agente necesita leer código, editar archivos, ejecutar pruebas y entregar una corrección que pase en la suite de pruebas oculta. La evaluación es binaria: la tarea se resuelve o no.

El benchmark tiene 1.865 tareas distribuidas en 41 repositorios profesionales. Las tareas van desde corrección de bugs hasta solicitudes de funcionalidad, optimizaciones, actualizaciones de seguridad y cambios de interfaz.

Tres subconjuntos con propósitos diferentes

El SWE-bench Pro se divide en tres conjuntos.

El conjunto público tiene 731 tareas de repositorios de código abierto con licencia copyleft, como GPL. La licencia funciona como barrera legal contra la contaminación: es improbable que ese código haya entrado en corpus de entrenamiento propietarios.

El conjunto privado tiene 276 tareas de 18 codebases propietarias de startups, obtenidas por asociación. Es la prueba definitiva de generalización en código industrial que el modelo nunca vio.

El conjunto reservado (held-out) tiene 858 tareas de otro grupo de repositorios públicos con licencia copyleft. Queda fuera de los marcadores públicos y sirve para análisis futuros y evaluaciones internas.

Por qué es más difícil que SWE-bench Verified

En SWE-bench Verified, los mejores modelos resuelven más del 70% de las tareas. En SWE-bench Pro, los mismos modelos caen a la casa del 20%. GPT-5 y Claude Opus 4.1, por ejemplo, marcan 23,3% y 23,1% en el conjunto público.

La diferencia viene del diseño. Las tareas de Pro exigen cambios promedio de 107 líneas en 4,1 archivos. Algunas llegan a más de 100 líneas en varios archivos. Los benchmarks antiguos tenían correcciones pequeñas y localizadas.

La licencia copyleft también reduce la contaminación. Si el código no estaba en el entrenamiento, el agente no puede recurrir a la memorización.

Marcador actual del conjunto público

El marcador público actual tiene 25 modelos. El líder es Muse Spark 1.1, de Meta, con 61,5%. Le siguen GPT-5.4 (xHigh) con 59,1%, Muse Spark con 55%, Claude Opus 4.6 (thinking) con 51,9% y Gemini 3.1 Pro (thinking) con 46,1%.

Los modelos más antiguos quedan muy atrás. GPT-4o marca 1,51% y Qwen3 32B marca 3,4%. La distancia entre generaciones es grande y consistente.

El conjunto privado es aún más duro. Muse Spark 1.1 lidera con 51,5%, seguido por Claude Opus 4.6 (thinking) con 47,1%. GPT-5 cae de 23,1% en el público a 14,9% en el privado.

Lo que hace caer a los modelos

Tres patrones aparecen en los resultados oficiales.

Primero, el desempeño cae conforme la solución exige más líneas y archivos. Los cambios pequeños se resuelven con más frecuencia; los cambios grandes, casi nunca.

Segundo, el lenguaje importa. Las tareas en Go y Python tienen tasas de resolución más altas, con algunos modelos por encima del 30%. En JavaScript y TypeScript, las tasas varían de casi 0% a más de 30%, dependiendo del modelo.

Tercero, el repositorio específico pesa. Algunos repositorios son consistentemente difíciles para todos los modelos, con tasas por debajo del 10%. En otros, ciertos modelos superan el 50%. Factores como la complejidad del codebase, el tipo de problema y la calidad de la documentación afectan el resultado.

Los modelos de punta también son más consistentes. Claude Opus 4.1 y GPT-5 no solo puntúan más alto, sino que mantienen un desempeño estable entre lenguajes y repositorios. Los modelos más pequeños tienen un desempeño errático.

Cómo probar hoy

El conjunto público y el código de evaluación están disponibles en GitHub (scaleapi/SWE-bench_Pro-os). El marcador público está en labs.scale.com/leaderboard/swe_bench_pro. El conjunto privado tiene marcador separado.

Si evalúas agentes de código, compara siempre el mismo harness (el programa que lee, escribe y ejecuta código) entre modelos. El benchmark mide el par modelo más entorno, no el modelo aislado.

Para quien monta pipelines de agentes, SWE-bench Pro es un buen termómetro de madurez. Un agente que resuelve menos de una cuarta parte de las tareas reales todavía necesita revisión humana en casi todo.

Límites del benchmark

SWE-bench Pro tiene límites. Mide solo si la corrección pasa las pruebas ocultas. No mide calidad de código, legibilidad o mantenibilidad.

La evaluación usa el scaffold SWE-Agent. Otros harnesses pueden producir resultados diferentes para el mismo modelo.

El conjunto privado no es reproducible fuera de Scale, porque depende de codebases propietarias. Eso hace que el marcador privado sea informativo, pero no verificable por terceros.

Los resultados reflejan el estado de los modelos en la fecha de cada medición. Los modelos nuevos entran al marcador con el tiempo.