
7 dicas para avaliar benchmarks de agentes de IA
Sete verificações para comparar benchmarks de agentes: unidade da tarefa, amostra, generalização, condições do teste e limites da pontuação.

Desenvolvedor e criador do bridgecode, ambiente de desenvolvimento agêntico para orquestrar squads de agentes de IA. Ajuda quem vai do vibe coding ao desenvolvimento profissional a sair da ideia e chegar ao produto entregue.
252 artigos por Marcelo Santiago

Sete verificações para comparar benchmarks de agentes: unidade da tarefa, amostra, generalização, condições do teste e limites da pontuação.

NVIDIA adiciona quatro checkpoints Cosmos3-Nano para simulação automotiva e robótica. Veja funções, requisitos, licença e limites.

AI2 apresenta ToyBlocks, um ambiente de simulação com quatro tarefas para estudar generalização e transferência física em robótica.

Codex 0.167.0 adiciona central de agentes no terminal, destaca resultados não lidos e preserva rascunhos ao trocar de backend. Veja o que muda.

No placar tau2-Bench Airline de 6 de novembro, GPT-5.1 marcou 80,0%. Entenda método, amostra mínima e limites antes de escolher um agente.

A Anthropic analisou 207.049 sessões científicas em Claude e Claude Code e separou o uso observado das projeções de produtividade.

Conheça o NVIDIA Auto Ontology, um repositório Apache 2.0 para dar contexto semântico a agentes e os cuidados de segurança antes de adotá-lo.

Kimi K3.1 Pro e ERNIE 5.5 chegaram com pesos públicos; Axion, Shackleton e ORO ampliaram o movimento open e de infraestrutura de agentes.

Google anunciou o Gemini Omni 1.2 Flash em 5 de novembro, com geração de vídeo de até 15 segundos e edições em sequência no fluxo criativo.

Baidu liberou ERNIE 5.5 Flash Base em 5 de novembro. O checkpoint tem 280 bilhões de parâmetros e resultados próprios em 30 benchmarks e sete categorias.

OpenAI apresentou o GPT-6 Cyber em 5 de novembro para organizações aprovadas. Veja o que os testes medem, seus limites e as condições de acesso.

Planner, Generator e Healer dividem a criação de testes no Playwright. Veja como revisar os resultados e a ressalva da imagem Docker v1.64.1.
Curadoria técnica e aprofundada: arquiteturas agênticas, benchmarks reais de tokens, servidores MCP e ferramentas open source direto no seu e-mail e no blog.