Ajuste fino supervisionado, ou SFT, é uma etapa de treinamento em que o modelo aprende a partir de exemplos rotulados por humanos. Cada exemplo é um par de entrada (pergunta ou instrução) e saída (resposta correta). O modelo ajusta seus pesos para reproduzir as respostas esperadas, tornando-se capaz de seguir instruções de forma consistente.
Como funciona
O processo começa com um modelo base, que já sabe gerar texto mas não segue instruções de forma confiável. O SFT alimenta o modelo com milhares ou milhões de pares de instrução e resposta. Durante o treinamento, o modelo minimiza a diferença entre sua saída e a resposta esperada, ajustando os pesos para se alinhar ao padrão dos exemplos.
A qualidade dos exemplos é determinante. Exemplos mal rotulados ou inconsistentes produzem um modelo que segue instruções de forma errática. Por isso, a criação do dataset de SFT é um trabalho cuidadoso, muitas vezes envolvendo anotadores humanos que avaliam e corrigem as respostas.
Exemplo prático
Um modelo base que apenas completa texto é submetido a SFT com pares como "Explique o que é RAG" → "RAG é a técnica de...". Após o treinamento, o modelo passa a responder perguntas de forma direta e útil, em vez de apenas continuar o texto. Esse é o passo que transforma um modelo de linguagem em um assistente.
Para que serve
SFT é a técnica fundamental para criar assistentes de IA que seguem instruções. No bridgecode, modelos com SFT são a base para agentes que entendem comandos e executam tarefas de forma confiável, sem precisar de prompts excessivamente detalhados.