ProgramBench: ¿la IA reconstruye programas desde cero?

ProgramBench no prueba si el modelo conoce el código fuente. Entrega un binario compilado y una especificación de comportamiento, y pide una implementación limpia que compile y pase las pruebas ocultas. Es una prueba de ingeniería inversa con verificación programática, no de memoria.

En este artículo verás:

• Lo que ProgramBench pide que haga el modelo.
• Cómo funciona la evaluación en la práctica (pasos, límites, criterio de aprobación).
• El ranking oficial del 5 de noviembre de 2026 y lo que muestran los números.
• Por qué este benchmark importa para quien usa agentes de código.

Lo que es ProgramBench

ProgramBench es un benchmark de código que evalúa si un modelo logra reconstruir un programa de línea de comandos a partir de un binario ejecutable y una especificación de comportamiento. Cada tarea entrega el binario compilado y la descripción de lo que el programa debe hacer. El modelo necesita producir código fuente que compile y reproduzca el comportamiento original en las pruebas ocultas.

La idea es medir capacidad de ingeniería, no recuerdo. El modelo no tiene acceso a internet, a repositorios de código o a decompiladores. Puede inspeccionar el binario y ejecutar el ejecutable, pero no puede reutilizar el binario ni usar herramientas de análisis binario. El binario es solo ejecutable.

Esto diferencia a ProgramBench de benchmarks como el SWE-bench Pro, que parte de un repositorio existente y pide un parche. Aquí no hay código de partida: el modelo reconstruye desde cero.

Cómo funciona la evaluación

Vals AI evalúa los modelos en 200 tareas públicas de ProgramBench. Cada tarea provee un programa compilado y la especificación de comportamiento. El agente recibe un terminal bash, un sandbox offline y el prompt estándar del benchmark. Puede inspeccionar los archivos entregados y ejecutar el ejecutable, pero no puede usar internet, consultar registros de paquetes, envolver el binario provisto, reutilizar archivos objeto ni usar decompiladores, desensambladores, rastreo o instrumentación.

La entrega contiene archivos de código fuente y un script de compilación. Vals compila una vez y evalúa cada rama de prueba oculta en un contenedor nuevo creado a partir de la imagen compilada. El agente tiene hasta 1.000 pasos, límite de 6 horas de reloj y 180 segundos de timeout por acción. La salida de las herramientas se trunca en 10.000 caracteres en los extremos.

Una rama pasa si el código compila, el comportamiento reproduce el original y las pruebas ocultas pasan. No hay crédito parcial por explicación: o la implementación funciona, o no.

El ranking oficial del 5 de noviembre de 2026

Vals probó 65 modelos en ProgramBench. Claude Opus 5.5 lidera con 18,50% de aciertos, seguido por Claude Fable 5.1 con 7,00% y Claude Sonnet 5.5 con 6,50%. La mayoría de los modelos queda por debajo del 5%.

La diferencia entre el primero y el segundo es grande: más de 11 puntos porcentuales. Esto muestra que reconstruir un programa a partir del binario sigue siendo una tarea rara, incluso para modelos de frontera.

Vals también compara modelos en costo y latencia por tarea. Claude Opus 5.5 cuesta más por intento, pero es el único que llega cerca de uno de cada cinco programas correctos.

Por qué importa este benchmark

ProgramBench mide una capacidad que los benchmarks de patch no capturan: la habilidad de entender el comportamiento de un sistema sin código de partida. Esto es útil en tres escenarios reales.

Primero, ingeniería inversa y auditoría: cuando recibes un binario de terceros y necesitas entender qué hace. Segundo, recuperación de sistemas heredados sin código fuente. Tercero, validación de agentes de código que necesitan actuar en entornos donde no hay repositorio disponible.

El resultado de 18,5% también es un recordatorio de límite. Incluso el mejor modelo se equivoca en más del 80% de los casos. Para quien usa agentes de código en el día a día, esto refuerza la necesidad de revisión humana y pruebas, como se discutió en el análisis del SnowPR en repositorios reales.