Benchmark
5 min
ToyBlocks: benchmark controlado para robôs
AI2 apresenta ToyBlocks, um ambiente de simulação com quatro tarefas para estudar generalização e transferência física em robótica.
#AI2#ToyBlocks#robótica
Categoria
Benchmarks
Testes práticos de performance, consumo e precisão entre agentes de IA
Benchmark
6 min
GPT-5.1 lidera tau2-Bench Airline com 80%
No placar tau2-Bench Airline de 6 de novembro, GPT-5.1 marcou 80,0%. Entenda método, amostra mínima e limites antes de escolher um agente.
#OpenRouter#GPT-5.1#tau2-Bench Airline
Benchmark
7 min
Modelos gratis e novos provedores da semana (06/11)
Kimi K3.1 Pro e ERNIE 5.5 chegaram com pesos públicos; Axion, Shackleton e ORO ampliaram o movimento open e de infraestrutura de agentes.
#modelos-abertos#modelos-gratuitos#provedores-de-ia
Benchmark
6 min
Phonon TTS lidera teste de latência de fala local
A Hugging Face publicou em 5 de novembro resultados do Phonon no Open TTS Leaderboard, com 28 ms até o primeiro áudio no teste de streaming em CPU.
#Phonon TTS#text-to-speech#Open TTS Leaderboard
Benchmark
5 min
CWE-bench v2: método, ranking e limites
CWE-bench v2 abre 100 tarefas públicas e revela um ranking de 250 casos. Veja o método, os números e o que o placar não mede.
#CWE-bench v2#CWE#benchmark de segurança
Benchmark
5 min
StateBench mede rastreamento de estado em contexto longo
StateBench mede quatro níveis de rastreamento de estado e mostra como a precisão cai em sequências longas, com método e limites explícitos.
#StateBench#Ai2#benchmark
Benchmark
6 min
O que o benchmark LifeVal avalia na vida real?
A OpenAI apresentou o LifeVal, avaliação de IA em tarefas cotidianas: cuidado infantil, finanças e serviços públicos. Veja o escopo e os limites.
#LifeVal#OpenAI#benchmark
Benchmark
7 min
FeatureLoop: benchmark revela falhas de agentes com requisitos em evolução
O preprint FeatureLoop avalia agentes de código em tarefas com requisitos que evoluem. O estudo mostra que feedback ajuda, mas que correções locais nem sempre preservam tudo o que já foi solicitado.
#FeatureLoop#benchmark de agentes de código#requisitos em evolução
Benchmark
6 min
GDPx: melhor modelo marca 12% em 11 domínios
O benchmark GDPx avalia agentes em 11 domínios de alto valor. O melhor sistema marcou 12%, com resultados distintos por tarefa.
#GDPx#SemiAnalysis#benchmarks
Benchmark
5 min
Benchmark da Doximity: LLMs erram em 2,3% das doses
A Doximity avaliou nove LLMs em 261.508 doses e encontrou ao menos 2,3% de erros, incluindo falhas graves ou potencialmente letais.
#Doximity#LLM#benchmark
Benchmark
6 min
Modelos gratis e novos provedores da semana (30/10)
Resumo semanal de modelos gratuitos, pesos disponíveis e novos provedores de IA que chegaram entre 26 e 30 de outubro.
#modelos-abertos#modelos-gratuitos#provedores-de-ia
Benchmark
7 min
SnowPR mede agentes de código em repositório real
SnowPR avalia agentes em 65 tarefas reais da Snowflake. Veja o método, os resultados e por que a amostra não define um vencedor universal.
#SnowPR#agentes de código#benchmark
A maior newsletter de IA do Mundo
Acompanhe a revolução dos squads e multi-agentes de IA.
Curadoria técnica e aprofundada: arquiteturas agênticas, benchmarks reais de tokens, servidores MCP e ferramentas open source direto no seu e-mail e no blog.