Co-Design Bench: agentes de código acertam 26% das tarefas reais

O que é o Co-Design Bench

O Co-Design Bench é um novo teste para agentes de código. Em vez de tarefas sintéticas, os agentes precisam retrabalhar aplicativos web existentes a partir de pedidos de usuários reais. Os pedidos podem incluir imagens, gravações de áudio, vídeos ou documentos como entrada.

Os pesquisadores preferiram casos em que os usuários tiveram que reformular o pedido várias vezes ou reverter mudanças. Isso garante que o teste contenha principalmente tarefas que já deram trabalho aos agentes na prática. As tarefas vão de ajustes pequenos, como extrair um valor de um recibo e atualizar todos os totais dependentes, até reformulações completas de projeto.

A avaliação é rigorosa. Um juiz de IA testa o aplicativo final no navegador. Um segundo juiz reconfere cada veredito positivo e procura por mockups ou resultados hardcoded. Pontos são dados apenas para recursos que realmente funcionam no aplicativo.

Por que benchmarks antigos não servem mais

Os autores justificam o novo teste apontando para a saturação dos benchmarks existentes. Quando modelos podem executar, verificar e corrigir o próprio código, atingem pontuações acima de 99% nesses testes, e as diferenças entre modelos mal podem ser medidas.

Em benchmarks antigos como o WebCompass-edit, agentes de código atingem pontuações quase perfeitas, enquanto o Co-Design Bench deixa um gap de mais de 35 pontos percentuais. O Co-Design Bench usa pedidos reais de sessões de código reais, o que torna o teste mais próximo do dia a dia de quem usa essas ferramentas.

Os números oficiais do Co-Design Bench

O GPT-6 Astra, o melhor dos dez modelos testados, atende cerca de 70% dos requisitos de uma tarefa em média. Mas o resultado é totalmente correto em apenas 26,4% das tarefas. Na maioria dos casos o agente faz o grosso do trabalho mas deixa pelo menos um detalhe inacabado, então quem usa essas ferramentas quase sempre precisa limpar à mão.

Atrás do GPT-6 Astra, Claude Opus 5 e Qwen3.8-Max ocupam as próximas posições, enquanto Grok 4.6 fica em último. Em reformulações maiores, o Qwen3.8-27B, bem menor, sobe para segundo, mas os autores não derivam uma vantagem geral do modelo a partir desse resultado.

Múltiplos tipos de mudança derrubam todos os modelos

O desempenho cai em todos os modelos quando uma tarefa combina mais tipos de mudança: layout, design, interação e conteúdo. Mas esses requisitos entrelaçados são a norma em projetos reais.

Cada um dos dez modelos pontua pior quando a tarefa exige três ou quatro tipos diferentes de mudança. Computação extra pouco ajuda: o GLM-5.2 consome quase seis vezes mais tokens que o GPT-6 Astra em mudanças pequenas e ainda pontua significativamente pior.

O GPT-6 Astra lidera ambas as trilhas mas resolve totalmente apenas 41% das tarefas multimodais e pouco menos de 18% das tarefas de repositório.

O harness importa tanto quanto o modelo

Em um teste separado, os pesquisadores rodaram os mesmos modelos em harnesses diferentes, os programas pelos quais um agente lê, escreve e executa código.

O Qwen3.8-27B pontuou 75 ou apenas 56 por cento em reformulações maiores dependendo do ambiente. Qual dos dois modelos ficou à frente também dependeu do ambiente.

Leaderboards que listam apenas o modelo contam apenas parte da história. Os autores recomendam sempre reportar modelo e ambiente de trabalho juntos. Para empresas que escolhem um agente de código, isso significa testar os dois componentes como um par, não separadamente.

Limites do benchmark

O benchmark tem limites. Ele avalia um pedido fixo por tarefa; perguntas de acompanhamento ou correções no meio da tarefa não fazem parte do teste. Os juízes de IA também podem errar.

Um estudo da organização de pesquisa METR já mostrou o quanto resultados de benchmark e usabilidade no mundo real podem divergir.

O efeito do ambiente de trabalho não é claro-cut. Um estudo recente sobre agentes de código encontrou pouco benefício mensurável de harnesses mais elaborados, mesmo consumindo até três vezes mais tokens.

Como testar hoje

Se você avalia agentes de código, o Co-Design Bench é um bom ponto de partida para entender as limitações atuais. Acesse o artigo original no arXiv (2610.35138) para ver os detalhes completos, incluindo os gráficos de pontuação por tipo de mudança e os exemplos de tarefas.

Perguntas frequentes sobre o Co-Design Bench

Qual é o problema que o Co-Design Bench tenta resolver? Benchmarks antigos de agentes de código saturaram: modelos atingem mais de 99% e as diferenças entre eles mal podem ser medidas. O Co-Design Bench usa pedidos reais de usuários para medir desempenho em situações reais.

Quantos modelos foram testados? Dez modelos, incluindo GPT-6 Astra, Claude Opus 5, Qwen3.8-Max, Qwen3.8-27B e Grok 4.6, em tarefas que envolvem layout, design, interação e conteúdo.

Qual foi o melhor resultado? O GPT-6 Astra atende cerca de 70% dos requisitos de uma tarefa em média, mas completa totalmente apenas 26,4% das tarefas.

Por que tarefas com múltiplos tipos de mudança são mais difíceis? Porque combinam layout, design, interação e conteúdo, que é o que acontece em projetos reais. Todos os dez modelos pontuam pior quando a tarefa exige três ou quatro tipos de mudança.

O harness realmente importa? Sim. O mesmo modelo pontuou 75 ou 56 por cento em reformulações maiores dependendo do ambiente. Leaderboards que listam apenas o modelo contam apenas parte da história.

Pontuações altas em benchmarks antigos significam que agentes resolvem tarefas reais? Não. O Co-Design Bench deixa um gap de mais de 35 pontos percentuais em relação a benchmarks antigos, e a taxa real de aceitação de código por líderes de projeto ficou cerca de 24 pontos abaixo do SWE-bench Verified.