Vibe Code Bench: IA constrói app web do zero?

O Vibe Code Bench não testa trechos de código isolados. Ele entrega uma descrição de aplicação web e pede que o modelo construa o app do zero, com interface, lógica e testes. É um teste de engenharia de software ponta a ponta, não de autocomplete.

O que é o Vibe Code Bench

Vibe Code Bench é um benchmark que avalia se um modelo consegue construir uma aplicação web a partir de uma descrição em linguagem natural. Cada tarefa pede um app funcional, com interface, lógica de negócio e testes. O modelo trabalha sozinho, sem acesso à internet, e entrega o código-fonte completo.

A ideia é medir capacidade de construção, não de correção. O modelo precisa tomar decisões de arquitetura, implementar a interface, escrever a lógica e garantir que os testes passem. Isso é mais próximo do trabalho real de um desenvolvedor do que corrigir um bug em um repositório existente.

Isso diferencia o Vibe Code Bench de benchmarks como o CursorBench, que mede a capacidade de editar código em um editor. Aqui o modelo constrói do zero. Também se diferencia do SWE-bench Pro, que parte de um repositório existente e pede um patch.

Como a avaliação funciona

A Vals AI avalia os modelos em 125 tarefas públicas do Vibe Code Bench. Cada tarefa fornece uma descrição de aplicação web. O agente recebe um terminal bash, um sandbox offline e o prompt padrão do benchmark. Ele pode inspecionar os arquivos entregues, mas não pode usar a internet, consultar registros de pacotes nem usar ferramentas de análise binária.

A submissão contém arquivos de código-fonte e um script de compilação. A Vals compila e executa os testes em um contêiner novo. O agente tem até 1.000 passos, limite de 6 horas de relógio e 180 segundos de timeout por ação. A saída das ferramentas é truncada em 10.000 caracteres nas pontas.

Um app passa se a interface renderiza, a lógica funciona e os testes ocultos passam. Não há crédito parcial por explicação: ou o app funciona, ou não.

O ranking oficial de 5 de novembro de 2026

A Vals testou 125 modelos no Vibe Code Bench. Claude Sonnet 5.5, rodando no OpenHands, lidera com 92,39%, seguido por Claude Sonnet 5 com 89,50% e Claude Sonnet 4.6 com 85,20%. A maioria dos modelos fica abaixo de 70%.

A diferença entre o primeiro e o segundo é de quase 3 pontos percentuais. Isso mostra que construir apps web do zero é uma tarefa que os modelos de fronteira já dominam razoavelmente bem, mas ainda com margem para erro.

A Vals também compara modelos em custo e latência por tarefa. Claude Sonnet 5.5 no OpenHands é mais caro por tentativa, mas é o único que passa de 92%.

Como testar hoje

Para quem quer experimentar, a Vals disponibiliza a metodologia e os resultados na leaderboard oficial. Você pode rodar os mesmos modelos no seu próprio projeto e comparar o resultado com o ranking publicado.

A Vals também publica o código de avaliação e os prompts usados, o que permite reproduzir os testes em outros modelos e ambientes. Isso é útil para times que querem validar se um modelo novo atende às suas necessidades antes de adotá-lo em produção.

Por que esse benchmark importa

O Vibe Code Bench mede uma capacidade que benchmarks de patch não capturam: a habilidade de construir software do zero a partir de uma descrição. Isso é útil em três cenários reais.

Primeiro, prototipagem rápida: quando você precisa de um app funcional em horas, não em dias. Segundo, validação de agentes de código que precisam entregar funcionalidades completas, não apenas correções. Terceiro, comparação entre modelos para escolher qual usar em projetos de construção.

O resultado de 92,39% também é um lembrete de limite. Mesmo o melhor modelo erra em quase 8% dos casos. Para quem usa agentes de código no dia a dia, isso reforça a necessidade de revisão humana e testes, como discutido na análise do FeatureLoop em repositórios reais.