MMLU es un benchmark que mide el conocimiento general de los modelos de lenguaje a través de preguntas de opción múltiple. El nombre proviene de Massive Multitask Language Understanding.
Cómo funciona
El test reúne preguntas de decenas de áreas, como historia, derecho, medicina, matemática y ciencias. Cada pregunta tiene alternativas, y solo una es correcta.
El modelo recibe la pregunta y elige una alternativa. El resultado final es el porcentaje de aciertos, general y por área. El benchmark se presentó en un artículo científico de 2020, y el conjunto de preguntas es público.
El test puede aplicarse sin ejemplos, o con algunos ejemplos en el prompt. La forma de aplicar cambia la nota, por eso las comparaciones solo tienen sentido cuando siguen el mismo método.
Ejemplo práctico
Una startup quiere elegir un modelo para un asistente de estudios. Compara la nota de dos modelos en el MMLU, lo que indica quién tiene mejor base de conocimiento general.
Pero el equipo recuerda que el test es de opción múltiple. No muestra si el modelo escribe bien, sigue instrucciones largas o programa. Por eso, también consulta otros benchmarks y prueba los modelos con preguntas reales del público.
| Información | Lo que dice el MMLU |
|---|---|
| Conocimiento general | Sí |
| Habilidad para programar | No |
| Calidad de escritura | No |
Para qué sirve
El MMLU sirve como medida rápida de conocimiento amplio. Los laboratorios suelen citar la nota al lanzar modelos, y los investigadores lo usan para seguir la evolución de los modelos a lo largo del tiempo.
Límites
Con el avance de los modelos, muchos pasaron a sacar notas altas, lo que reduce la capacidad del test para separar un modelo bueno de uno óptimo. Ese efecto se llama saturación.
También hubo discusiones sobre preguntas con errores y sobre contaminación, cuando el modelo ya vio las preguntas durante el entrenamiento. Por eso, la nota del MMLU debe leerse con cuidado y junto a otras evaluaciones.
Diferencia entre MMLU y HumanEval
MMLU mide conocimiento general con preguntas de opción múltiple. HumanEval mide la capacidad de escribir código que pasa pruebas. Un modelo puede ir bien en uno y regular en el otro.