Artificial Analysis Intelligence Index v5: o que muda

A publicação informa que 60% do índice agora se baseia em testes privados ou respostas retidas. Isso reduz a exposição pública das perguntas, mas também muda como leitores devem interpretar a comparabilidade e a reprodução dos resultados.

A empresa apresenta a v5 como duas novas avaliações e três atualizações. A Progress Index v1 é uma escala separada e não entra nessa pontuação composta.

O Index v5 divide nove avaliações em quatro áreas

O Artificial Analysis Intelligence Index é uma medida composta de capacidade dos modelos em tarefas que a empresa considera próximas do uso atual.

A versão v5 distribui o peso igualmente entre trabalho de conhecimento, programação, ciência e capacidade geral.

Cada área representa 25% do índice. No trabalho de conhecimento, AA-Briefcase responde por 15%, AutomationBench-AA por 5% e GDP.pdf por 5%.

A programação também recebe 25%: FrontierCode 2.0 pesa 15% e Terminal-Bench 4.0 pesa 10%. Ciência soma outros 25%, com Terminal-Bench Science em 15% e o subconjunto difícil de CritPt v2 em 10%.

A área geral completa o quadro. AA-Omniscience v1.1 representa 15% e HLE-Diamond, 10%.

A ficha completa e as mudanças da metodologia estão no anúncio oficial do Index v5.

HLE-Diamond substitui Humanity's Last Exam no índice. A Artificial Analysis descreve a nova versão como um conjunto refinado de mil perguntas, dividido igualmente entre raciocínio e conhecimento.

Na prática editorial, a pontuação total não equivale a um resultado de programação. Mesmo com testes de código entre as nove avaliações, três quartos do peso vêm de outras áreas.

Por isso, compare a área mais próxima da tarefa.

Nosso Code2Video-AA avaliou 27 modelos em briefs de vídeo feitos com código, um exemplo mais específico que uma pontuação geral.

FrontierCode 2.0 mede alterações que um mantenedor aceitaria

FrontierCode 2.0 usa 132 tarefas em repositórios reais de código aberto. A avaliação considera se um mantenedor aceitaria a alteração feita pelo agente, e uma falha em qualquer verificação bloqueadora zera a tentativa.

A Cognition mantém privadas as tarefas para reduzir contaminação, quando um modelo pode ter visto exemplos de avaliação durante o treinamento. Cada tarefa é executada três vezes no harness Stirrup, segundo a Artificial Analysis.

No placar publicado com v5, Claude Opus 5.5 no esforço máximo lidera FrontierCode 2.0 com 46%. GPT-6 Astra, GPT-6.1 Terra e Claude Sonnet 5.5 aparecem em seguida com 42% cada.

O melhor resultado de pesos abertos na tabela citada é 28% para DeepSeek V4.1 Flash 1017 no modo máximo. A diferença importa para equipes de desenvolvimento, mas não diz sozinha se uma alteração é segura ou adequada ao seu repositório.

Outra avaliação nova, Terminal-Bench Science, contém 70 tarefas de pesquisa científica em ambiente de terminal. Para passar uma tarefa, o agente precisa satisfazer todos os testes associados.

GPT-6 Astra aparece com 63%, Claude Opus 5.5 com 59% e GPT-6.1 Sol com 58%. Já o melhor modelo com pesos publicados marca 13% nessa prova, o que evidencia uma lacuna dentro dessa tarefa específica.

O gráfico mostra a pontuação agregada, não a porcentagem de tarefas concluídas.

Para ver uma avaliação mais estreita, leia nosso artigo sobre o GenXR-Bench e tarefas de programação para realidade estendida.

O resultado composto não aponta um vencedor em todas as provas

O ranking de v5 mostra Claude Opus 5.5 na liderança geral com 58 pontos, seguido por GPT-6 Astra com 57 e GPT-6.1 Sol com 55. Esses valores são pontos da escala composta, não porcentagens.

A própria Artificial Analysis afirma que nenhum modelo lidera as nove avaliações. Claude Opus 5.5 fica na frente em três, enquanto cinco outros modelos lideram as seis restantes.

Isso importa para quem escolhe um modelo por uma única tabela. Um primeiro lugar geral não garante que o mesmo sistema será o melhor para corrigir código, pesquisar em terminal ou revisar documentos longos.

A versão v5 retira GDPval-AA v2.1, SciCode e AA-LCR v1.1 do índice. A empresa atualizou AA-Omniscience para remover perguntas públicas ou saturadas, acrescentar questões e revisar itens ambíguos ou incorretos.

Os dados privados reduzem exposição, mas exigem leitura da metodologia

A Artificial Analysis informa que 60% do peso de v5 vem de avaliações com conjuntos de teste privados ou respostas retidas. Isso procura reduzir a chance de um modelo já conhecer as perguntas e parecer melhor por memorização.

Uma avaliação privada não pode ser reproduzida integralmente por qualquer leitor.

Para comparar resultados, consulte as regras publicadas, os critérios de aprovação, o número de tentativas e as limitações descritas para cada teste.

A v5 também lança a Artificial Analysis Progress Index v1, uma escala contínua que acompanha modelos desde novembro de 2022. Ela é um produto separado do Intelligence Index e não deve ser confundida com a pontuação de v5.