Como funciona
Modelos de IA armazenam seus pesos como números de ponto flutuante (geralmente 16 ou 32 bits). Quantização converte esses números para formatos de menor precisão (8, 4 ou até 2 bits), reduzindo o tamanho do modelo e acelerando o cálculo.
A ideia é que a diferença entre 16 bits e 4 bits é pequena para a maioria das tarefas: o modelo perde um pouco de precisão, mas usa menos memória e roda mais rápido. É como reduzir a resolução de uma imagem: você perde detalhes, mas a imagem ainda é reconhecível.
Existem dois tipos principais: quantização pós-treinamento (PTQ), aplicada depois do treino, e quantização aware training (QAT), onde o modelo é treinado já considerando a quantização.
Exemplo prático
Um modelo de 70 bilhões de parâmetros em 16 bits ocupa cerca de 140 GB de VRAM. Quantizado para 4 bits, ocupa cerca de 35 GB. Isso permite rodar o modelo em uma única GPU de 48 GB, em vez de precisar de múltiplas GPUs.
Ferramentas como llama.cpp, vLLM e Ollama aplicam quantização automaticamente. Formatos como GGUF (llama.cpp) e AWQ/GPTQ (vLLM) são os mais usados para modelos quantizados.
Para que serve
Serve para rodar modelos grandes em hardware mais modesto, reduzir custos de inferência e aumentar a velocidade de resposta. É essencial para inferência local e para deploy em edge.
Diferença entre quantização e destilação
Quantização reduz a precisão do mesmo modelo (mesmos parâmetros, menos bits). Destilação cria um modelo menor com menos parâmetros. Quantização é mais rápida de aplicar e não exige retreino. Destilação pode dar melhor qualidade, mas é mais cara. As duas podem ser combinadas.