GPQA es un conjunto de preguntas de opción múltiple en biología, física y química, escrito por especialistas con doctorado. La idea es que sean tan difíciles que ni una búsqueda rápida en internet las resuelva, por eso el nombre Google-Proof.
Cómo funciona
Cada pregunta tiene cuatro alternativas. Los especialistas en el área de la pregunta aciertan bastante, pero personas inteligentes de otras áreas, incluso con acceso a internet, aciertan mucho menos. Este diseño intenta garantizar que la cuestión exija conocimiento y razonamiento de verdad.
Para probar un modelo, se presenta la pregunta con las alternativas y se ve si elige la correcta. La nota es el porcentaje de aciertos.
El subconjunto llamado Diamond reúne las preguntas en las que los especialistas coincidieron en la respuesta y los no especialistas se equivocaron. Por eso es el más citado.
Como toda nota de benchmark, el resultado depende de detalles de la prueba, como el tipo de prompt y el uso de razonamiento paso a paso.
Ejemplo práctico
Una empresa lanza un modelo nuevo y dice que llegó a cierto porcentaje en GPQA Diamond. Quieres saber si eso importa para tu caso.
Si tu producto es un asistente de código para una app web, GPQA dice poco. Si es una herramienta que ayuda a investigadores a leer artículos científicos, la prueba es más relevante.
Una buena práctica es armar 20 preguntas de tu dominio y comparar los modelos con ellas.
pergunta; resposta esperada; resposta do modelo A; resposta do modelo BPara qué sirve
GPQA sirve para medir razonamiento científico avanzado en modelos de lenguaje. Es una de las métricas usadas para comparar los modelos de punta.
Para quien elige un modelo, es una señal entre varias. Úsalo junto con pruebas de código, como SWE-bench, y con tus propios casos.
Cuidados al leer la nota
Los benchmarks públicos pueden saturarse, cuando varios modelos llegan cerca del techo, y pueden filtrarse a los datos de entrenamiento. Por eso, revisa siempre la fuente y la fecha del resultado antes de sacar conclusiones.