GPQA é um conjunto de perguntas de múltipla escolha em biologia, física e química, escrito por especialistas com doutorado. A ideia é que sejam tão difíceis que nem uma busca rápida na internet resolva, por isso o nome Google-Proof.
Como funciona
Cada pergunta tem quatro alternativas. Especialistas na área da pergunta acertam bastante, mas pessoas inteligentes de outras áreas, mesmo com acesso à internet, acertam bem menos. Esse desenho tenta garantir que a questão exija conhecimento e raciocínio de verdade.
Para testar um modelo, apresenta-se a pergunta com as alternativas e vê-se se ele escolhe a correta. A nota é a porcentagem de acertos.
O subconjunto chamado Diamond reúne as perguntas em que os especialistas concordaram na resposta e os não especialistas erraram. Por isso é o mais citado.
Como toda nota de benchmark, o resultado depende de detalhes do teste, como o tipo de prompt e o uso de raciocínio passo a passo.
Exemplo prático
Uma empresa lança um modelo novo e diz que ele chegou a certa porcentagem no GPQA Diamond. Você quer saber se isso importa para o seu caso.
Se seu produto é um assistente de código para um app web, o GPQA diz pouco. Se é uma ferramenta que ajuda pesquisadores a ler artigos científicos, o teste é mais relevante.
Uma boa prática é montar 20 perguntas do seu domínio e comparar os modelos com elas.
pergunta; resposta esperada; resposta do modelo A; resposta do modelo BPara que serve
O GPQA serve para medir raciocínio científico avançado em modelos de linguagem. É uma das métricas usadas para comparar os modelos de ponta.
Para quem escolhe um modelo, ele é um sinal entre vários. Use junto com testes de código, como o SWE-bench, e com seus próprios casos.
Cuidados ao ler a nota
Benchmarks públicos podem ficar saturados, quando vários modelos chegam perto do teto, e podem vazar para os dados de treino. Por isso, confira sempre a fonte e a data do resultado antes de tirar conclusões.