CloudOpsBench: agentes de IA em operações de nuvem

O CloudOpsBench é um benchmark de código aberto que mede como agentes de IA executam tarefas reais de operação em nuvem. A versão 1.0 cobre 45 tarefas na AWS, de consertar serviços quebrados a remover recursos, restringir permissões, publicar atualizações e desativar projetos. O resultado principal: o melhor agente resolve 60,6% das tarefas, e o principal gargalo não é falta de conhecimento, mas raciocínio.

A maioria dos benchmarks de agentes testa perguntas de múltipla escolha ou problemas pequenos e autocontidos. A operação de nuvem real exige decisões sequenciais, com efeitos colaterais, em ambientes onde um erro pode derrubar um serviço ou expor dados. Nenhum benchmark anterior testava isso de ponta a ponta em infraestrutura real.

O que é o CloudOpsBench

O CloudOpsBench foi construído por engenheiros de DevOps experientes, com coordenação da equipe de Ang Chen na Universidade de Michigan. Cada tarefa foi escrita por profissionais que operam infraestrutura em produção, não por pesquisadores de benchmark. Isso importa porque a qualidade do benchmark depende da qualidade das tarefas e da rubrica de avaliação.

As 45 tarefas da versão 1.0 rodam de forma idêntica em duas superfícies: a nuvem AWS real e um emulador local. Isso permite que pesquisadores testem sem gastar em infraestrutura real, e que resultados sejam reproduzíveis. As tarefas cobrem cinco categorias de operação: consertar serviços degradados, remover recursos não utilizados, restringir permissões de acesso, publicar atualizações de configuração e desativar projetos inteiros.

Extensões para Google Cloud Platform, Microsoft Azure e Oracle Cloud Infrastructure estão planejadas. O projeto é open source sob licença Apache 2.0, e o repositório no GitHub inclui as tarefas, os scripts de avaliação e a análise de falhas.

Como funciona a avaliação

Cada tarefa tem um estado inicial da infraestrutura e um estado final desejado. O agente recebe a tarefa em linguagem natural e deve executar as ações necessárias para chegar ao estado final. A avaliação verifica se o estado final foi alcançado corretamente, incluindo verificações de segurança: o agente não pode simplesmente apagar tudo para "resolver" a tarefa.

A métrica principal é a taxa de resolução: a porcentagem de tarefas em que o agente alcançou o estado final correto. Também são medidos tempo de execução, tokens consumidos e custo total. Esses números aparecem no leaderboard público do site.

Números oficiais do CloudOpsBench

Resultados no conjunto de 45 tarefas (v1.0):

• Claude Fable 5.1 (max), harness claude-code: 60,6% de resolução, 38,6 horas, 97,9 milhões de tokens, US$ 404,30
• GPT-6 Astra (max), harness codex: 58,9%, 16,5 horas, 98,0 milhões de tokens, US$ 310,90
• Gemini 4 Argon (high), harness gemini-cli: 57,5%, 34,2 horas, 173,9 milhões de tokens, US$ 100,50
• Grok 4.7 (high), harness cursor-cli: 56,5%, 33,2 horas, 178,3 milhões de tokens, US$ 138,80

A diferença entre o primeiro e o quarto colocado é de apenas 4,1 pontos percentuais. Isso significa que os modelos de fronteira estão em um pelotão denso, e a escolha do modelo não é o único fator que importa. O GPT-6 Astra, por exemplo, usa menos da metade do tempo do Claude Fable 5.1 e custa 23% menos, com uma diferença de apenas 1,7 ponto na taxa de resolução.

Por que o modelo importa mais do que o harness

A equipe testou 14 modelos de fronteira usando 7 harnesses públicos: Antigravity, Claude Code, Codex, Hermes, OpenCode, OpenHands e Pi. A diferença entre modelos foi de até 50 pontos percentuais, enquanto a diferença mediana entre harnesses para o mesmo modelo foi de apenas 3 pontos. Os harnesses afetam significativamente o custo de execução, mas não a pontuação final.

Isso é uma conclusão importante para quem constrói agentes de IA para operações de nuvem. Investir em um modelo mais capaz traz mais retorno do que investir em um harness mais sofisticado. O harness afeta quanto você gasta e quanto tempo leva, mas não se a tarefa será resolvida. Para comparar com outro benchmark que mede agentes em tarefas técnicas, veja o PLE: benchmark de engenharia física para agentes de IA.

Onde os agentes falham

A análise de falhas do CloudOpsBench, disponível no site do projeto, mostra que o principal gargalo é raciocínio, não falta de conhecimento. Os agentes sabem quais comandos executar e quais recursos existem, mas falham ao encadear decisões, ao considerar efeitos colaterais e ao recuperar de erros intermediários.

Em uma tarefa de consertar um serviço degradado, por exemplo, o agente pode identificar o problema corretamente mas aplicar a correção na ordem errada, deixando o serviço em um estado inconsistente. Em tarefas de remoção de recursos, agentes frequentemente removem dependências de outros serviços sem perceber.

O custo também é um fator. As configurações de maior esforço usam de 60 a 98 milhões de tokens por rodada, com custos entre US$ 100 e US$ 400. Para operações em produção, onde as tarefas são executadas continuamente, isso pode ser proibitivo. As configurações de menor esforço (high ou medium) reduzem o custo em 50% ou mais, com perda de 10 a 20 pontos na taxa de resolução.

Como testar hoje

Se você trabalha com agentes de IA para operações de nuvem, o CloudOpsBench é um bom ponto de partida para entender as limitações atuais. As 45 tarefas públicas estão disponíveis no GitHub, com scripts de avaliação e um emulador local. Você pode trazer sua própria configuração de agente e submetê-la para avaliação no conjunto de teste.

Para outros domínios, procure benchmarks que usem infraestrutura real, tarefas escritas por profissionais da área e avaliação de ponta a ponta. Evite benchmarks que testam apenas perguntas de múltipla escolha ou problemas pequenos e autocontidos. Se o seu foco é segurança de código, veja também o CWE-bench v2: método, ranking e limites.

Perguntas frequentes sobre o CloudOpsBench

O que é o CloudOpsBench? É um benchmark de código aberto que mede como agentes de IA executam tarefas reais de operação em nuvem, desenvolvido por engenheiros de DevOps com coordenação da Universidade de Michigan.

Quantas tarefas e em quais provedores? A versão 1.0 tem 45 tarefas na AWS. Extensões para Google Cloud, Azure e Oracle Cloud estão planejadas.

Qual foi o melhor resultado? O Claude Fable 5.1 (max) alcançou 60,6% de taxa de resolução, seguido de GPT-6 Astra (max) com 58,9%.

Por que o modelo importa mais do que o harness? A diferença entre modelos foi de até 50 pontos percentuais, enquanto a diferença mediana entre harnesses para o mesmo modelo foi de apenas 3 pontos.

Quanto custa rodar o benchmark? As configurações de maior esforço custam entre US$ 100 e US$ 400 por rodada, usando de 60 a 98 milhões de tokens.

Os resultados são reproduzíveis? Sim. As tarefas rodam de forma idêntica em nuvem real e em emulador local, e o código é open source sob licença Apache 2.0.

Conclusão

O CloudOpsBench mostra que agentes de IA ainda estão longe de operar infraestrutura de nuvem de forma confiável. A taxa de resolução de 60,6% do melhor agente significa que 4 em cada 10 tarefas falham. O principal gargalo é raciocínio, não conhecimento: os agentes sabem o que fazer, mas falham ao executar sequências complexas com efeitos colaterais.

Ao avaliar agentes de IA para operações de nuvem, não se contente com a taxa de resolução agregada. Verifique o custo por tarefa, o tempo de execução e os modos de falha documentados. Um agente bom não é apenas o que resolve mais tarefas, mas o que resolve de forma consistente e custo-efetiva.

CloudOpsBench chamou sua atenção? Coloque essa novidade pra trabalhar num squad de agentes de IA, cada um no seu papel.

Fonte: The Decoder

PYEOF_PLACEHOLDER = None