HOPE: podar experts em modelos MoE sem quebrar a cooperação

Modelos MoE alcançam desempenho de ponta com centenas de bilhões de parâmetros, mas cada expert ocupa memória. Podar experts é a forma mais direta de encolher o modelo, mas os métodos existentes decidem o corte de cada expert de forma independente, como se a contribuição de cada um fosse aditiva. Na prática, experts cooperam: remover um pode desmontar um circuito que dependia dele.

O que é o HOPE, o método de poda de segunda ordem da Amazon

HOPE significa Higher-Order Pruning of Experts. É um objetivo de poda de segunda ordem que considera as interações par a par entre experts ao decidir quais remover. A ideia central é que experts não trabalham sozinhos: padrões de co-seleção aparecem cedo no treinamento e se estabilizam ao longo dele.

Um método de primeira ordem pontua cada expert sozinho. Se o expert A parece dispensável, ele é removido. O problema aparece quando o expert B, que coopera frequentemente com A, é importante. Remover A desmonta o grupo cooperativo, e a queda de desempenho vai além do que a pontuação individual previa. Esse efeito se acumula em taxas agressivas de poda, de 40% a 50%, justamente onde a redução de memória mais importa para produção.

O paper mostra que o REAP, método de primeira ordem considerado estado da arte, é um caso especial do HOPE em que os termos de interação são zerados. Em outras palavras, o HOPE generaliza o REAP ao adicionar a matriz de interação entre experts.

Como o HOPE identifica o conjunto a podar

O HOPE formula a poda como a minimização de uma cota superior sobre o erro resultante da remoção. A matriz de interação F mede a cooperação par a par: F i,j é a média de g i(x) g j(x) nas entradas em que ambos os experts são selecionados, normalizada pelas normas de suas saídas. Quanto maior F i,j, mais os dois experts trabalham juntos.

Em vez de ordenar experts por uma pontuação individual, o HOPE busca o subconjunto cuja remoção minimiza p transposto F p, o erro de saída que o corte realmente causa. Isso captura o fato de que dois experts redundantes são baratos de remover juntos, enquanto dois complementares não são. Uma ordenação por expert não consegue distinguir os dois casos.

Na prática, o método poda cada camada de forma independente e não considera interações entre camadas. Isso mantém o custo computacional viável, mas é uma limitação declarada no paper.

Os resultados divulgados: +6,1% em código com 50% de poda

Os autores avaliaram o HOPE em modelos MoE de larga escala, incluindo GLM-4.7, Qwen3-Coder-480B e outras variantes. A métrica principal é a posição média entre os métodos comparados, com menor sendo melhor.

Com 50% de experts removidos, o HOPE obteve a melhor posição média entre todos os métodos testados. Em tarefas agênticas de código, o ganho chega a +6,1% sobre o segundo melhor método de poda. A vantagem é mais pronunciada em taxas altas, de 40% a 50%. Em taxas baixas, de 10% a 20%, métodos de primeira ordem como REAP e MAN às vezes são competitivos e a vantagem do HOPE encolhe.

A explicação é direta: quanto mais experts são removidos, mais interações são quebradas, e os termos fora da diagonal de F ganham peso. Em 50%, muitos pares cooperativos são rompidos ao mesmo tempo, e a pontuação individual não consegue prever nem prevenir esse dano.

Os ganhos também aparecem em tarefas de uso de ferramentas e múltipla escolha, com a vantagem aumentando conforme a taxa de poda cresce.

Limitações honestas do HOPE

O paper é claro sobre o que o método não faz. Primeiro, o HOPE poda cada camada de forma independente e não considera interações entre camadas. Segundo, a matriz F é estimada a partir de dados de calibração, então a qualidade depende da representatividade desses dados. Terceiro, a vantagem sobre métodos de primeira ordem é pequena em taxas baixas, onde a simplicidade do REAP pode bastar.

Também vale lembrar que o paper é da Amazon e os resultados são auto reportados, sem replicação independente até o momento. Quem quiser aplicar o HOPE deve validar no próprio conjunto de modelos e tarefas.

Como testar o HOPE hoje

O código do HOPE está disponível no repositório oficial da Amazon no GitHub, vinculado ao paper. A implementação trabalha sobre modelos MoE hospedados no Hugging Face, como Qwen3-Coder e GLM, e permite reproduzir os experimentos com dados de calibração fornecidos.

Para quem quer avaliar poda de experts em um modelo próprio, o fluxo é: escolher o modelo MoE, coletar dados de calibração representativos, calcular a matriz F por camada e rodar o HOPE com a taxa de poda desejada. Compare com o REAP no mesmo conjunto de avaliação antes de decidir.

Os checkpoints podados publicados pela Amazon no Hugging Face permitem testar o resultado sem rodar a poda do zero.