Como funciona
Parte de um modelo base (pre-trained) que previa texto. O treinamento usa pares de instrução-resposta. O modelo aprende a responder perguntas, executar tarefas e seguir comandos.
A etapa de instruction tuning é o que diferencia um modelo base de um modelo instruído (instruct). Sem ela, o modelo apenas completa texto. Com ela, o modelo responde a perguntas de forma coerente.
O processo geralmente envolve supervised fine-tuning (SFT) com dados curados de instruções. Empresas como Meta, Mistral e Google usam instruction tuning para criar as versões "Instruct" de seus modelos.
Exemplo pratico
O Llama 3 base prevê o próximo token. Após instruction tuning, ele se torna o Llama 3 Instruct, capaz de responder "explique o que é uma API" de forma coerente. Sem essa etapa, o modelo base apenas completaria texto sem responder a pergunta.
Um modelo base pode ter o conhecimento, mas não sabe como apresentá-lo. Instruction tuning ensina o formato de resposta, o tom e a capacidade de seguir instruções complexas com múltiplos passos.
Para que serve
Entender instruction tuning ajuda a escolher entre modelo base e modelo instruído para uma aplicação. Modelos base são úteis para fine-tuning customizado. Modelos instruídos são úteis para uso direto como assistentes.
Para desenvolvedores, isso significa saber quando usar cada tipo de modelo. Para pesquisadores, significa entender como melhorar modelos com dados de instrução de qualidade.
Diferenca entre modelo base e modelo instruído
Modelo base prevê o próximo token com base no texto de treino. É bom para completar texto e para fine-tuning customizado. Modelo instruído segue comandos e responde perguntas. É bom para uso direto como assistente ou agente.
Um modelo instruído perde um pouco da flexibilidade do modelo base (pode ser mais difícil de fazer fine-tuning). Mas ganha em usabilidade e capacidade de seguir instruções.