O que é MMLU?

MMLU é um benchmark que mede o conhecimento geral de modelos de linguagem por meio de perguntas de múltipla escolha. O nome vem de Massive Multitask Language Understanding.

Como funciona

O teste reúne perguntas de dezenas de áreas, como história, direito, medicina, matemática e ciências. Cada pergunta tem alternativas, e só uma está correta.

O modelo recebe a pergunta e escolhe uma alternativa. O resultado final é a porcentagem de acertos, geral e por área. O benchmark foi apresentado em um artigo científico de 2020, e o conjunto de perguntas é público.

O teste pode ser aplicado sem exemplos, ou com alguns exemplos no prompt. A forma de aplicar muda a nota, por isso comparações só fazem sentido quando seguem o mesmo método.

Exemplo prático

Uma startup quer escolher um modelo para um assistente de estudos. Ela compara a nota de dois modelos no MMLU, que indica quem tem melhor base de conhecimento geral.

Mas a equipe lembra que o teste é de múltipla escolha. Ele não mostra se o modelo escreve bem, segue instruções longas ou programa. Por isso, ela também consulta outros benchmarks e testa os modelos com perguntas reais do público.

Para que serve

O MMLU serve como medida rápida de conhecimento amplo. Laboratórios costumam citar a nota ao lançar modelos, e pesquisadores o usam para acompanhar a evolução dos modelos ao longo do tempo.

Limites

Com o avanço dos modelos, muitos passaram a tirar notas altas, o que reduz a capacidade do teste de separar um modelo bom de um ótimo. Esse efeito é chamado de saturação.

Havia também discussões sobre perguntas com erros e sobre contaminação, quando o modelo já viu as perguntas durante o treino. Por isso, a nota do MMLU deve ser lida com cuidado e junto de outras avaliações.

Diferença entre MMLU e HumanEval

MMLU mede conhecimento geral com perguntas de múltipla escolha. HumanEval mede capacidade de escrever código que passa em testes. Um modelo pode ir bem em um e médio no outro.