Como funciona
Na destilação de modelo, um modelo grande e já treinado (o professor) gera respostas ou probabilidades para um conjunto de exemplos. Um modelo menor (o aluno) é então treinado para reproduzir essas saídas, em vez de aprender diretamente dos dados originais.
A chave está em usar as probabilidades do professor, não só a resposta final. Em vez de dizer "a resposta é cachorro", o professor diz "90% cachorro, 5% gato, 5% lobo". Essa informação extra (chamada de soft labels) dá mais sinal ao aluno e acelera o aprendizado.
O processo tem três partes: o professor (grande, lento, caro), o aluno (pequeno, rápido, barato) e os dados de treino. O aluno aprende a imitar o professor, não a verdade absoluta. Por isso, a qualidade do aluno depende da qualidade do professor.
Exemplo prático
Imagine que você tem um modelo de 70 bilhões de parâmetros que responde bem, mas é lento e caro para rodar. Com destilação, você treina um modelo de 8 bilhões de parâmetros para imitar as respostas do grande. O pequeno fica mais rápido e usa uma fração da memória, com perda pequena de qualidade.
É assim que modelos como as variantes "mini" de vários fornecedores são criados. O modelo destilado herda o estilo e o conhecimento do professor, mas roda em hardware mais modesto.
Para que serve
Destilação serve para reduzir custo e latência sem perder muita qualidade. É útil quando você precisa rodar IA em dispositivo (on-device), em edge ou com orçamento apertado.
Também é usada para criar modelos especializados: um modelo grande generalista ensina um modelo pequeno focado em código ou em atendimento, por exemplo.
Diferença entre destilação e fine-tuning
No fine-tuning, o modelo aprende diretamente de exemplos rotulados por humanos. Na destilação, aprende com as saídas de outro modelo. Fine-tuning exige dados de alta qualidade e é mais caro. Destilação aproveita o conhecimento já condensado no professor e costuma ser mais barata.