FeatureLoop: benchmark revela falhas de agentes com requisitos em evolução

O que o FeatureLoop mede

Muitos benchmarks verificam se um agente concluiu uma tarefa isolada. O FeatureLoop acompanha uma sequência: primeiro há um pedido inicial; depois, novos requisitos ampliam o produto; por fim, o usuário informa comportamentos que ainda falham. O agente continua trabalhando no mesmo espaço de trabalho, e cada etapa precisa preservar o que já funcionava.

O paper compara três cenários: requisitos completos entregues de uma vez (Full), pedidos progressivos sem correções (Evo) e pedidos progressivos com feedback corretivo (Evo+Comp). As verificações executáveis avaliam tanto a nova funcionalidade quanto os requisitos anteriores e o comportamento-base do repositório.

Os resultados principais

No conjunto agregado de modelos, a taxa de conclusão estrita ficou em 40,3% quando todo o escopo foi especificado de início, 51,6% com pedidos progressivos e 64,1% com pedidos progressivos mais correções. Isso mostra que, nessa avaliação, a interação ao longo do trabalho ajudou — mas não eliminou falhas.

O melhor resultado individual no cenário com pedidos e correções foi 72,1% para GPT-6 Astra. Esse número não é a média dos modelos: é o resultado do modelo mais bem colocado na métrica de conclusão estrita do estudo. Outro dado chama atenção: entre os estados que haviam falhado, apenas 15,4% foram recuperados em até duas revisões corretivas. E, mesmo quando uma correção local funcionava, em 20,9% dos casos outras exigências já informadas continuavam incompletas.

Esses números tratam de métricas diferentes. Os 64,1% são o resultado agregado do cenário Evo+Comp; 72,1% é o melhor modelo nesse cenário; 15,4% mede recuperação de estados falhos em até duas revisões. Não são taxas intercambiáveis nem uma previsão do desempenho de qualquer agente em qualquer projeto.

Para comparar o FeatureLoop com outros estudos de coding agents em repositórios, veja também o benchmark SnowPR, baseado em pull requests reais da Snowflake, e o GenXR-Bench para tarefas de desenvolvimento XR.

Como o estudo foi montado — e quais são os limites

O FeatureLoop reúne 61 tarefas revisadas por pessoas, provenientes de 34 repositórios e cobrindo cinco linguagens principais e sete tipos de software. Os autores avaliaram 12 modelos em 2.196 execuções; todos usaram Claude Code como harness compartilhado. Os testes acumulam requisitos ao longo das etapas e também verificam regressões no comportamento que já existia.

O estudo é um preprint no arXiv, não uma prova independente de que todo agente falha da mesma forma. A amostra tem 61 tarefas, o método de avaliação foi construído pelos autores e os resultados dependem dos modelos, configurações e verificações escolhidos. Use-os para entender um tipo específico de trabalho iterativo, não como ranking universal de coding agents.

O que builders podem aplicar

1. Escreva critérios de aceite observáveis para cada requisito, não apenas uma descrição geral do resultado desejado.
2. Quando uma mudança chegar, transforme a falha relatada em um teste reproduzível.
3. Após corrigir o ponto local, rode também os testes dos requisitos anteriores e do comportamento-base.
4. Registre o que foi verificado e o que continua pendente; não trate uma resposta do agente dizendo “corrigido” como evidência de que todo o fluxo funciona.
5. Em tarefas longas, avance em etapas pequenas e peça ao agente para relatar os testes executados e os limites da verificação.