Terminal-Bench 4.0: Claude Opus 5.5 e Sonnet 5.5 lideram operações em terminal com 65%

Diferente de avaliações sintéticas que apenas validam respostas de código em caixas isoladas, o Terminal-Bench coloca os modelos diante de ambientes com sistemas de arquivos reais, ferramentas de linha de comando (git, bash, compilers, debuggers) e restrições práticas de execução.

O que o Terminal-Bench 4.0 avalia

O benchmark simula tarefas reais enfrentadas por engenheiros de software, administradores de sistemas e especialistas em DevOps no dia a dia de servidores e repositórios de código aberto:

• Investigação de falhas: diagnosticar por que um serviço falhou ao iniciar usando logs do systemd e utilitários de rede.
• Compilação e build: configurar toolchains, resolver dependências ausentes e corrigir erros de compilação em C, Rust e Python.
• Manipulação de dados e texto: filtrar e transformar grandes volumes de registros usando comandos UNIX como grep, sed, awk e jq.
• Automação de repositórios: operações complexas de git, resolução de conflitos de merge e aplicação de patches.

Para comparar com testes de segurança cibernética e engenharia reversa no mesmo ecossistema, veja também nossa análise do SRE Bench da Vals AI.

Como funciona a metodologia com Mini-SWE-agent

Todos os testes são executados através do harness Mini-SWE-agent, um ambiente controlado que concede ao agente uma sessão bash interativa com permissões limitadas dentro de containers Docker efêmeros.

A cada turno de conversação, o modelo:

1. Emite um comando no terminal (ex.: cat /var/log/nginx/error.log ou pytest -q).
2. Recebe a saída do stdout e stderr do shell.
3. Analisa os resultados e planeja a próxima ação corretiva.
4. Conclui com um comando de finalização quando a tarefa é cumprida.

A avaliação valida o estado final do sistema operacional executando uma suíte determinística de testes automatizados e asserções que o agente não tem acesso para inspecionar.

O ranking de líderes do Terminal-Bench 4.0

A tabela de resultados consolidados da Vals AI traz um panorama competitivo acirrado entre as famílias de modelos de ponta:

Os dados revelam que o Claude Sonnet 5.5 oferece quase o mesmo desempenho do Opus 5.5 (64,14% contra 65,15%) com menor custo financeiro por execução. Já o Kimi K3.1 Pro surpreendeu ao figurar na 3ª posição custando apenas $4,57 por teste, menos da metade do Claude Opus. Para uma análise complementar sobre benchmarks que testam códigos em repositórios reais, confira o guia do SWE-bench Pro.

Eficiência de tokens e tempo de resolução

Além da taxa de acerto bruta, o Terminal-Bench 4.0 mede o comportamento operacional dos modelos:

• GPT-6 Astra é o mais veloz e econômico em tokens, consumindo apenas 3,01 milhões de tokens e completando o ciclo em 35 minutos.
• Claude Sonnet 5.5 usa um raciocínio iterativo mais longo (58,53 milhões de tokens), explorando ativamente comandos de diagnóstico antes de tomar decisões definitivas.
• GPT-6.1 Sol registrou o menor custo financeiro absoluto ($1,72 por teste), embora com uma taxa de resolução 10% inferior aos líderes.

Como rodar agentes em terminais paralelos no bridgecode

O grande desafio de operar agentes em terminais reais é evitar que uma sessão trave o seu ambiente ou gere alterações conflitantes no seu branch de trabalho.

Com o bridgecode, você tem terminais dedicados para cada CLI (Claude Code, OpenCode, Codex e Antigravity), operando em git worktrees separadas. Isso permite rodar um agente executando comandos pesados em segundo plano enquanto você continua programando sem interrupções. Explore o ecossistema bridgecode para colocar squads de agentes para trabalhar nos seus projetos.