SRE Bench: IA faz engenharia reversa de binários?

O SRE Bench não testa se o modelo conhece padrões de código. Ele entrega um binário compilado e pede que o agente descubra o que o programa faz, sem acesso ao código-fonte, a decompiladores ou a ferramentas de análise binária. É um teste de compreensão de software, não de memorização.

O que é o SRE Bench

SRE Bench é um benchmark que avalia se um agente de IA consegue determinar o que um programa binário faz, sem acesso ao código-fonte. Cada tarefa entrega um binário compilado e pede uma descrição do comportamento do programa. O agente precisa analisar o binário, entender a lógica e responder perguntas sobre o que o programa faz.

A ideia é medir capacidade de compreensão de software, não de execução. O agente não tem acesso à internet, ao código-fonte ou a ferramentas de análise binária. Ele pode executar o binário e inspecionar a saída, mas não pode usar decompiladores, desassembladores ou rastreamento. Isso é mais próximo do trabalho real de um analista de segurança do que rodar um scanner automatizado.

Isso diferencia o SRE Bench do Vals CyberOffense, que mede se modelos abertos conseguem invadir redes corporativas. Aqui o agente precisa entender o que um binário faz, não explorar vulnerabilidades.

Como a avaliação funciona

A Vals AI avalia os agentes em 19 tarefas públicas do SRE Bench. Cada tarefa fornece um binário compilado de um programa real, com mais de 16.000 linhas de código em média, abrangendo protocolos de rede, firmware, jogos, recuperação de formatos de arquivo e malware. O agente recebe um terminal bash, um sandbox offline e o prompt padrão do benchmark. Ele pode executar o binário e inspecionar a saída, mas não pode usar a internet, decompiladores, desassembladores ou rastreamento.

A submissão contém a descrição do comportamento do programa produzida pelo agente. A Vals compara a descrição com o comportamento real do programa em testes ocultos. O agente tem até 1.000 passos, limite de 6 horas de relógio e 180 segundos de timeout por ação. A saída das ferramentas é truncada em 10.000 caracteres nas pontas.

Um agente passa se a descrição corresponde ao comportamento real do programa. Não há crédito parcial por explicação: ou a compreensão está correta, ou não.

O ranking oficial de 5 de novembro de 2026

A Vals testou vários agentes no SRE Bench. GPT-6 Astra lidera com 56,87% de acerto, seguido por Gemini 4 Argon com 52,10% e Claude Opus 5.5 com 48,30%. A maioria dos agentes fica abaixo de 45%.

A diferença entre o primeiro e o segundo é de quase 5 pontos percentuais. Isso mostra que fazer engenharia reversa de binários ainda é uma tarefa difícil, mesmo para os modelos mais fortes.

A Vals também compara agentes em custo e latência por tarefa. GPT-6 Astra é o mais preciso, mas também um dos mais caros por tentativa.

Como testar hoje

Para quem quer experimentar, a Vals disponibiliza a metodologia e os resultados na leaderboard oficial. Você pode rodar os mesmos agentes no seu próprio binário e comparar o resultado com o ranking publicado.

A Vals também publica o código de avaliação e os prompts usados, o que permite reproduzir os testes em outros modelos e ambientes. Isso é útil para times que querem validar se um agente novo atende às suas necessidades de análise de binários antes de adotá-lo em produção.

Por que esse benchmark importa

O SRE Bench mede uma capacidade que benchmarks de código não capturam: a habilidade de entender o que um programa faz sem acesso ao código-fonte. Isso é útil em três cenários reais.

Primeiro, análise de malware: quando você recebe um binário suspeito e precisa entender o que ele faz. Segundo, auditoria de sistemas legados: quando você herdou um sistema sem documentação nem código-fonte. Terceiro, validação de agentes de código que precisam atuar em ambientes onde não há código-fonte disponível.

O resultado de 56,87% também é um lembrete de limite. Mesmo o melhor agente erra em mais de 43% dos casos. Para quem usa agentes de código no dia a dia, isso reforça a necessidade de revisão humana e testes, como discutido na análise do CWE-bench v2 em cibersegurança.