Cómo funciona
Los modelos de IA almacenan sus pesos como números de punto flotante (generalmente de 16 o 32 bits). La cuantización convierte esos números a formatos de menor precisión (8, 4 o incluso 2 bits), reduciendo el tamaño del modelo y acelerando el cálculo.
La idea es que la diferencia entre 16 bits y 4 bits es pequeña para la mayoría de las tareas: el modelo pierde un poco de precisión, pero usa menos memoria y corre más rápido. Es como reducir la resolución de una imagen: se pierden detalles, pero la imagen sigue siendo reconocible.
Existen dos tipos principales: cuantización post-entrenamiento (PTQ), aplicada después del entrenamiento, y cuantización consciente del entrenamiento (QAT), donde el modelo se entrena ya considerando la cuantización.
Ejemplo práctico
Un modelo de 70 mil millones de parámetros en 16 bits ocupa alrededor de 140 GB de VRAM. Cuantizado a 4 bits, ocupa alrededor de 35 GB. Esto permite ejecutar el modelo en una sola GPU de 48 GB, en lugar de necesitar múltiples GPUs.
Herramientas como llama.cpp, vLLM y Ollama aplican cuantización automáticamente. Formatos como GGUF (llama.cpp) y AWQ/GPTQ (vLLM) son los más usados para modelos cuantizados.
Para qué sirve
Sirve para ejecutar modelos grandes en hardware más modesto, reducir costos de inferencia y aumentar la velocidad de respuesta. Es esencial para inferencia local y para despliegue en edge.
Diferencia entre cuantización y destilación
La cuantización reduce la precisión del mismo modelo (mismos parámetros, menos bits). La destilación crea un modelo más pequeño con menos parámetros. La cuantización es más rápida de aplicar y no exige reentrenamiento. La destilación puede dar mejor calidad, pero es más costosa. Las dos pueden combinarse.