Humanity's Last Exam, muitas vezes abreviado como HLE, é um benchmark composto por perguntas muito difíceis, escritas por especialistas de diversas áreas. Ele foi criado porque modelos de IA passaram a ir tão bem em testes antigos que esses testes deixaram de diferenciá-los.

A proposta é ter uma prova mais exigente, que ainda tenha margem para os modelos evoluírem.

Como funciona

O teste reúne questões de áreas como matemática, ciências e humanidades. As perguntas buscam ter respostas verificáveis e fechadas, o que facilita a correção automática.

Pontos importantes:

  • Dificuldade alta: as questões foram pensadas para desafiar modelos de ponta.
  • Autoria especializada: profissionais de várias áreas contribuíram com perguntas.
  • Correção objetiva: respostas com formato definido permitem comparação justa.
  • Evolução: pontuações e versões mudam, então consulte a fonte oficial para o dado atual.

O resultado costuma ser apresentado como uma porcentagem de acertos. Alguns testes permitem uso de ferramentas, como busca e código, e outros não. Essa diferença altera muito o número, por isso vale ler a nota de rodapé de cada anúncio.

Exemplo prático

Um laboratório lança um novo modelo e divulga uma pontuação no HLE. Você precisa escolher entre dois modelos para um assistente de pesquisa.

O número do benchmark ajuda a comparar, mas não decide sozinho. Rode seus próprios casos:

Terminal
# exemplo de teste simples, com suas próprias perguntas
for p in perguntas/*.txt; do
  echo "Pergunta: $p"
done

Com isso, você mede qual modelo acerta mais no seu tipo de tarefa, que quase nunca é igual ao do benchmark.

Para que serve

  • Comparar modelos de ponta: mostra diferenças que testes mais fáceis não mostram.
  • Acompanhar progresso: indica a evolução do conhecimento especializado da IA.
  • Interpretar anúncios: ajuda a entender o que um número divulgado significa.
  • Evitar saturação: testes novos substituem os que já estão "resolvidos".

Diferença entre Humanity's Last Exam e ARC-AGI

O HLE mede conhecimento e raciocínio especializado com perguntas fechadas. O ARC-AGI mede a capacidade de deduzir regras novas a partir de poucos exemplos visuais. São habilidades distintas, e um modelo pode ir bem em um e mal no outro.

Nenhum benchmark único resume a qualidade de um modelo. Use esses números como pista e valide sempre com o seu próprio caso de uso.