Como funciona
Em vez de atualizar todos os bilhões de pesos de um modelo, o PEFT (Parameter-Efficient Fine-Tuning) congela a maior parte da rede e treina apenas uma pequena parcela de parâmetros adicionais, como adaptadores LoRA ou prefixos. Isso reduz drasticamente o custo de memória e processamento, mantendo boa parte da qualidade do ajuste fino completo. A ideia central é que modelos grandes já possuem conhecimento geral suficiente e precisam apenas de ajustes direcionados para uma tarefa específica.
Exemplo prático
Treinar um modelo de 7 bilhões de parâmetros por completo exige GPUs caras e dias de processamento. Com LoRA, uma técnica de PEFT, você treina apenas alguns milhões de parâmetros em horas, num notebook com uma GPU modesta, e obtém um modelo especializado em código ou atendimento. O resultado final é um arquivo pequeno de adaptador que se combina com o modelo base na hora da inferência.
Para que serve
PEFT democratiza o ajuste fino: empresas e desenvolvedores podem adaptar modelos grandes ao seu domínio sem infraestrutura de data center. É a base de boa parte dos modelos especializados disponíveis hoje em catálogos como o Hugging Face, e permite experimentar rapidamente com diferentes tarefas sem duplicar modelos inteiros.
Diferença entre PEFT e fine-tuning completo
No ajuste fino completo, todos os pesos são atualizados, o que exige mais dados, memória e tempo. O PEFT sacrifica um pouco de desempenho máximo em troca de eficiência e flexibilidade, sendo ideal para a maioria dos casos de uso práticos. Adapters complementam essa abordagem ao adicionar camadas treináveis ao modelo congelado.