ARC-AGI é um benchmark, ou teste padronizado, criado por François Chollet para medir a capacidade de uma IA de resolver problemas inéditos. A sigla ARC vem de Abstraction and Reasoning Corpus.
O foco não é conhecimento acumulado, e sim raciocínio e adaptação.
Como funciona
Cada tarefa mostra alguns exemplos de grades coloridas, com uma entrada e uma saída. O sistema precisa descobrir a regra por trás da transformação e aplicá-la a uma nova grade.
As características principais:
- Poucos exemplos: em geral, a regra tem de ser deduzida de duas ou três demonstrações.
- Tarefas inéditas: cada quebra-cabeça é diferente, o que dificulta decorar respostas.
- Fácil para humanos: as regras costumam ser intuitivas para pessoas, mas difíceis para modelos.
- Avaliação em conjuntos separados: há conjuntos públicos e conjuntos mantidos privados para evitar vazamento.
O teste é associado ao ARC Prize, competição que premia avanços nesse tipo de raciocínio. Existem versões novas do benchmark, então confira sempre a página oficial para saber qual é a atual.
Exemplo prático
Imagine uma grade com um quadrado vermelho no canto. Nos exemplos, sempre que há um quadrado, ele é pintado de azul e movido uma casa para a direita. Você vê dois exemplos e já entende a regra.
O ARC-AGI pede que a IA faça o mesmo: veja poucos exemplos, deduza a regra e gere a grade correta para um caso novo. Se você é desenvolvedor, a lição prática é parecida com a de testes: não basta o modelo passar em casos que conhece.
Para que serve
- Comparar modelos: oferece uma medida diferente dos testes de conhecimento.
- Avaliar generalização: mostra se o modelo se adapta a problemas novos.
- Ler notícias com critério: quando um modelo é anunciado com resultado no ARC-AGI, você sabe o que esse número mede.
- Orientar pesquisa: direciona esforços para raciocínio mais robusto.
Diferença entre ARC-AGI e outros benchmarks
Benchmarks como os de perguntas e respostas ou de programação medem conhecimento e habilidades específicas. O ARC-AGI tenta medir eficiência de aprendizado diante do desconhecido.
Um bom resultado não prova inteligência geral, e um resultado baixo não torna o modelo inútil. Para escolher uma IA para o seu trabalho, use benchmarks como referência e depois teste com suas próprias tarefas. É isso que mostra o valor real no seu caso.