Co-Design Bench: los agentes de código aciertan el 26% de las tareas reales

En este artículo vas a ver:

• Qué es el Co-Design Bench y por qué usa pedidos reales de usuarios.
• Los números oficiales: 10 modelos, 26,4% de conclusión total, 70% de requisitos cumplidos.
• Por qué las tareas con múltiples tipos de cambio derrumban a todos los modelos.
• Qué cambia el efecto del harness para quien elige agentes de código.
• Los límites del benchmark y cómo se compara con METR y con SWE-bench.

Qué es el Co-Design Bench

El Co-Design Bench es una nueva prueba para agentes de código. En lugar de tareas sintéticas, los agentes deben retrabajar aplicaciones web existentes a partir de pedidos de usuarios reales. Los pedidos pueden incluir imágenes, grabaciones de audio, videos o documentos como entrada.

Los investigadores prefirieron casos en los que los usuarios tuvieron que reformular el pedido varias veces o revertir cambios. Esto garantiza que la prueba contenga principalmente tareas que ya dieron trabajo a los agentes en la práctica. Las tareas van desde ajustes pequeños, como extraer un valor de un recibo y actualizar todos los totales dependientes, hasta reformulaciones completas de proyecto.

La evaluación es rigurosa. Un juez de IA prueba la aplicación final en el navegador. Un segundo juez revisa cada veredicto positivo y busca mockups o resultados hardcoded. Los puntos se otorgan solo para recursos que realmente funcionan en la aplicación.

Por qué los benchmarks antiguos ya no sirven

Los autores justifican la nueva prueba señalando la saturación de los benchmarks existentes. Cuando los modelos pueden ejecutar, verificar y corregir su propio código, alcanzan puntuaciones por encima del 99% en esas pruebas, y las diferencias entre modelos apenas pueden medirse.

En benchmarks antiguos como WebCompass-edit, los agentes de código alcanzan puntuaciones casi perfectas, mientras que el Co-Design Bench deja una brecha de más de 35 puntos porcentuales. El Co-Design Bench usa pedidos reales de sesiones de código reales, lo que hace que la prueba esté más cerca del día a día de quien usa esas herramientas.

Los números oficiales del Co-Design Bench

El GPT-6 Astra, el mejor de los diez modelos probados, cumple cerca del 70% de los requisitos de una tarea en promedio. Pero el resultado es totalmente correcto solo en el 26,4% de las tareas. En la mayoría de los casos el agente hace lo grueso del trabajo pero deja al menos un detalle inconcluso, así que quien usa esas herramientas casi siempre necesita limpiar a mano.

Detrás del GPT-6 Astra, Claude Opus 5 y Qwen3.8-Max ocupan las siguientes posiciones, mientras que Grok 4.6 queda último. En reformulaciones más grandes, el Qwen3.8-27B, mucho más pequeño, sube al segundo lugar, pero los autores no derivan una ventaja general del modelo a partir de ese resultado.

Múltiples tipos de cambio derrumban a todos los modelos

El desempeño cae en todos los modelos cuando una tarea combina más tipos de cambio: layout, diseño, interacción y contenido. Pero esos requisitos entrelazados son la norma en proyectos reales.

Cada uno de los diez modelos puntúa peor cuando la tarea exige tres o cuatro tipos diferentes de cambio. La computación extra ayuda poco: el GLM-5.2 consume casi seis veces más tokens que el GPT-6 Astra en cambios pequeños y aun así puntúa significativamente peor.

El GPT-6 Astra lidera ambas las pistas pero resuelve totalmente solo el 41% de las tareas multimodales y poco menos del 18% de las tareas de repositorio.

El harness importa tanto como el modelo

En una prueba aparte, los investigadores ejecutaron los mismos modelos en harnesses diferentes, los programas mediante los cuales un agente lee, escribe y ejecuta código.

Qwen3.8-27B obtuvo 75 o solo 56 por ciento en reformulaciones mayores dependiendo del entorno. Qué modelo quedó adelante también dependió del entorno.

Los leaderboards que listan solo el modelo cuentan solo parte de la historia. Los autores recomiendan reportar siempre modelo y entorno de trabajo juntos. Para empresas que eligen un agente de código, esto significa probar ambos componentes como un par, no por separado.

Límites del benchmark

El benchmark tiene límites. Evalúa una solicitud fija por tarea; preguntas de seguimiento o correcciones a mitad de tarea no forman parte de la prueba. Los jueces de IA también pueden equivocarse.

Un estudio de la organización de investigación METR ya mostró cuánto pueden divergir los resultados de benchmark y la usabilidad en el mundo real.

El efecto del entorno de trabajo no es claro. Un estudio reciente sobre agentes de código encontró poco beneficio medible de harnesses más elaborados, incluso consumiendo hasta tres veces más tokens.

Cómo probar hoy

Si evalúas agentes de código, Co-Design Bench es un buen punto de partida para entender las limitaciones actuales. Accede al artículo original en arXiv (2610.35138) para ver los detalles completos, incluyendo los gráficos de puntuación por tipo de cambio y los ejemplos de tareas.

Preguntas frecuentes sobre el Co-Design Bench

¿Cuál es el problema que Co-Design Bench intenta resolver? Los benchmarks antiguos de agentes de código se saturaron: los modelos alcanzan más de 99% y las diferencias entre ellos apenas pueden medirse. Co-Design Bench usa solicitudes reales de usuarios para medir el desempeño en situaciones reales.

¿Cuántos modelos se probaron? Diez modelos, incluyendo GPT-6 Astra, Claude Opus 5, Qwen3.8-Max, Qwen3.8-27B y Grok 4.6, en tareas que involucran layout, diseño, interacción y contenido.

¿Cuál fue el mejor resultado? GPT-6 Astra cumple alrededor del 70% de los requisitos de una tarea en promedio, pero completa totalmente solo el 26,4% de las tareas.

¿Por qué las tareas con múltiples tipos de cambio son más difíciles? Porque combinan layout, diseño, interacción y contenido, que es lo que ocurre en proyectos reales. Los diez modelos puntúan peor cuando la tarea exige tres o cuatro tipos de cambio.

¿El harness realmente importa? Sí. El mismo modelo obtuvo 75 o 56 por ciento en reformulaciones mayores dependiendo del entorno. Los leaderboards que listan solo el modelo cuentan solo parte de la historia.

¿Puntuaciones altas en benchmarks antiguos significan que los agentes resuelven tareas reales? No. Co-Design Bench deja una brecha de más de 35 puntos porcentuales respecto a benchmarks antiguos, y la tasa real de aceptación de código por líderes de proyecto quedó alrededor de 24 puntos por debajo de SWE-bench Verified.