A Artificial Analysis lançou em 8 de novembro de 2026 a segunda versão do Decision Index, um benchmark que mede como modelos de IA tomam decisões sobre documentos reais. A novidade principal é que 45% do índice agora usa dados privados, contra 25% na versão anterior.
Marcelo Santiago
Criador do bridgecode
O Decision Index mede a capacidade de modelos de IA de tomar decisões e extrair fatos de documentos reais. O cenário é o de uma empresa que processa milhares de recibos, notas fiscais, currículos e artigos científicos por dia e precisa que a IA decida o que fazer com cada um.
Receba artigos sobre IA no seu e-mail
Curadoria técnica sobre modelos, agentes e ferramentas de código. Sem spam, cancele quando quiser.
Na versão 2, o índice mudou de estrutura. O peso de dados privados subiu de 25% para 45%. Dados privados são conjuntos que não estão disponíveis publicamente, o que impede que os modelos sejam treinados especificamente para aquele teste. É a mesma lógica do FrontierCode 2.0 e do Terminal-Bench 4.0, que também usam tarefas privadas.
O componente principal se chama AA-Paperclip: 1.500 documentos privados (currículos, recibos, notas fiscais e artigos de IA) com 5 decisões e 10 extrações de fato cada. O modelo passa apenas se acertar as 15 respostas de um documento. Essa exigência de "tudo ou nada" separa modelos que parecem próximos em métricas individuais.
O Decision Score é a métrica-chave da versão 2. A fórmula é 50 × (1 + c − (p − c)²), onde p é a probabilidade que o modelo atribui à sua resposta e c indica se a resposta estava correta (1) ou errada (0). Em termos práticos, equivale a 50 × (1 + acurácia − Brier score).
A ideia é que um modelo que acerta com alta confiança ganha mais pontos do que um que acerta com baixa confiança. E um modelo que erra com alta confiança perde mais pontos do que um que erra com baixa confiança. Isso captura a calibração, algo que a acurácia bruta ignora.
O resultado prático é que o ranking muda. No AA-Paperclip, a Clef passa 36% dos documentos e a Celeris-1.1 Decision passa 24%. Mas a Celeris-1.1 Decision empata no Decision Score por ter melhor calibração (Brier score de 0,15 contra 0,27). No índice geral, a GLiDE v1.2 lidera a Drex Max v1.1 em acurácia (60 contra 58), mas a Drex Max v1.1 fica à frente no Decision Index.
Três modelos de decisão estão a 1 ponto no topo do índice. A Drex Max v1.1 da Nace AI e a GLiDE v1.2 da Fastino Labs empatam com 73, seguidas pela Mammoth 27B da Base Labs com 72.
Modelos de linguagem geral também participam. O Claude Haiku 5.5 (Max) marca 77 e o GPT-6 Luna (Max) marca 76, ficando cerca de 3 pontos acima da Drex Max v1.1. Mas o custo e a latência são bem diferentes: o GPT-6 Luna custa US$ 1.530 por 1 milhão de tarefas contra US$ 102 da Drex Max v1.1 (15 vezes mais) e leva 11,34 segundos por tarefa contra 275 milissegundos (cerca de 40 vezes mais lento).
O custo por tarefa varia mais de 60 vezes entre os modelos de decisão. A Celeris-1.1 Decision custa US$ 14 por 1 milhão de tarefas, a Decider v1.2 custa US$ 68 e a Drex Max v1.1 custa US$ 102. A Clef custa US$ 859. O preço do token não é o único fator: a maioria dos modelos de decisão cobra o documento uma vez para todas as perguntas, mas a GLiDE v1.2 e a Decider Flash v1.2 cobram por pergunta, o que multiplica o custo.
A latência também varia muito. A Celeris-1.1 Decision registrou 56 milissegundos por tarefa, a Elephant 9B levou 70 milissegundos e a Jev 1.14 levou 92 milissegundos. O Claude Haiku 5.5 (Max) leva 32,65 segundos. A Mammoth 27B fica a 4 pontos do GPT-6 Luna (Max) no índice e é 118 vezes mais rápida.
É a segunda versão do benchmark da Artificial Analysis que mede como modelos de IA tomam decisões e extraem fatos de documentos reais. A novidade principal é que 45% do índice agora usa dados privados, contra 25% na versão anterior.
A fórmula é 50 × (1 + c − (p − c)²), onde p é a probabilidade que o modelo atribui à sua resposta e c indica se a resposta estava correta. Equivale a 50 × (1 + acurácia − Brier score). Premia respostas corretas com alta confiança e penaliza respostas erradas com alta confiança.
A Drex Max v1.1 da Nace AI e a GLiDE v1.2 da Fastino Labs empatam com 73, seguidas pela Mammoth 27B da Base Labs com 72. Entre modelos de linguagem gerais, o Claude Haiku 5.5 (Max) marca 77 e o GPT-6 Luna (Max) marca 76.
Varia de US$ 14 por 1 milhão de tarefas (Celeris-1.1 Decision) a US$ 859 (Clef). O GPT-6 Luna (Max) custa US$ 1.530 e o Claude Haiku 5.5 (Max) custa US$ 6.240 por 1 milhão de tarefas.
Use um modelo de decisão quando o volume é alto e o custo por tarefa importa. Migre para um LLM geral quando a tarefa exigir raciocínio mais profundo ou quando o modelo de decisão não atingir a acurácia necessária.
A escolha depende do volume e da tolerância a erro. Se você processa documentos em grande escala e precisa de decisão rápida e barata, um modelo de decisão como a Drex Max v1.1 ou a Celeris-1.1 Decision faz sentido. Se você precisa de máxima acurácia e pode pagar mais, um LLM geral como o Claude Haiku 5.5 (Max) ou o GPT-6 Luna (Max) fica à frente.
A regra prática: comece pelo modelo de decisão quando o custo por tarefa importa e o volume é alto. Migre para um LLM geral quando a tarefa exigir raciocínio mais profundo ou quando o modelo de decisão não atingir a acurácia necessária.
Se quiser ver como agentes de IA se saem em benchmarks de código e operações, confira o post sobre GDPx e o desempenho de agentes em tarefas profissionais e o Artificial Analysis Intelligence Index v5.
Para quem trabalha com agentes de IA no dia a dia, o bridgecode permite coordenar múltiplos agentes em paralelo, cada um no seu espaço isolado, com os seus modelos e chaves. Veja como funciona a orquestração no bridgecode.
Fonte: Artificial Analysis
Desenvolvedor e criador do bridgecode, ambiente de desenvolvimento agêntico para orquestrar squads de agentes de IA. Ajuda quem vai do vibe coding ao desenvolvimento profissional a sair da ideia e chegar ao produto entregue.
Inkling 2 Small soltou 316 palavrões em 2.655 execuções de benchmark. O que isso revela sobre loops de raciocínio e sobre leitura de benchmarks.
O Terminal-Bench 4.0 avalia agentes de IA resolvendo problemas em terminal Linux real. Claude Opus 5.5 lidera com 65,15%, seguido por Sonnet 5.5 com 64,14%.
O SRE Bench testa se agentes de IA conseguem fazer engenharia reversa de binários sem código-fonte. GPT-6 Astra lidera com 56,87%.
