Humanity's Last Exam, muitas vezes abreviado como HLE, é um benchmark composto por perguntas muito difíceis, escritas por especialistas de diversas áreas. Ele foi criado porque modelos de IA passaram a ir tão bem em testes antigos que esses testes deixaram de diferenciá-los.
A proposta é ter uma prova mais exigente, que ainda tenha margem para os modelos evoluírem.
Como funciona
O teste reúne questões de áreas como matemática, ciências e humanidades. As perguntas buscam ter respostas verificáveis e fechadas, o que facilita a correção automática.
Pontos importantes:
- Dificuldade alta: as questões foram pensadas para desafiar modelos de ponta.
- Autoria especializada: profissionais de várias áreas contribuíram com perguntas.
- Correção objetiva: respostas com formato definido permitem comparação justa.
- Evolução: pontuações e versões mudam, então consulte a fonte oficial para o dado atual.
O resultado costuma ser apresentado como uma porcentagem de acertos. Alguns testes permitem uso de ferramentas, como busca e código, e outros não. Essa diferença altera muito o número, por isso vale ler a nota de rodapé de cada anúncio.
Exemplo prático
Um laboratório lança um novo modelo e divulga uma pontuação no HLE. Você precisa escolher entre dois modelos para um assistente de pesquisa.
O número do benchmark ajuda a comparar, mas não decide sozinho. Rode seus próprios casos:
# exemplo de teste simples, com suas próprias perguntas
for p in perguntas/*.txt; do
echo "Pergunta: $p"
doneCom isso, você mede qual modelo acerta mais no seu tipo de tarefa, que quase nunca é igual ao do benchmark.
Para que serve
- Comparar modelos de ponta: mostra diferenças que testes mais fáceis não mostram.
- Acompanhar progresso: indica a evolução do conhecimento especializado da IA.
- Interpretar anúncios: ajuda a entender o que um número divulgado significa.
- Evitar saturação: testes novos substituem os que já estão "resolvidos".
Diferença entre Humanity's Last Exam e ARC-AGI
O HLE mede conhecimento e raciocínio especializado com perguntas fechadas. O ARC-AGI mede a capacidade de deduzir regras novas a partir de poucos exemplos visuais. São habilidades distintas, e um modelo pode ir bem em um e mal no outro.
Nenhum benchmark único resume a qualidade de um modelo. Use esses números como pista e valide sempre com o seu próprio caso de uso.