¿Qué es Destilación de modelo? Significado y ejemplos

¿Qué es Destilación de modelo?

Destilación de modelo: Técnica en la que un modelo grande (profesor) enseña a un modelo más pequeño (alumno) a imitar sus respuestas. El resultado es un modelo más ligero y económico, con una calidad cercana a la del original.

Actualizado el 10/11/2026 · Por Marcelo Santiago

Cómo funciona

En la destilación de modelo, un modelo grande y ya entrenado (el profesor) genera respuestas o probabilidades para un conjunto de ejemplos. Un modelo más pequeño (el alumno) se entrena entonces para reproducir esas salidas, en lugar de aprender directamente de los datos originales.

La clave está en usar las probabilidades del profesor, no solo la respuesta final. En lugar de decir "la respuesta es perro", el profesor dice "90% perro, 5% gato, 5% lobo". Esa información extra, llamada soft labels, le da más señal al alumno y acelera el aprendizaje.

El proceso tiene tres partes: el profesor (grande, lento, caro), el alumno (pequeño, rápido, barato) y los datos de entrenamiento. El alumno aprende a imitar al profesor, no a la verdad absoluta. Por eso, la calidad del alumno depende de la calidad del profesor.

Ejemplo práctico

Imagina que tienes un modelo de 70 mil millones de parámetros que responde bien, pero es lento y caro de ejecutar. Con destilación, entrenas un modelo de 8 mil millones de parámetros para imitar las respuestas del grande. El pequeño queda más rápido y usa una fracción de la memoria, con una pérdida pequeña de calidad.

Así es como se crean modelos como las variantes "mini" de varios proveedores. El modelo destilado hereda el estilo y el conocimiento del profesor, pero corre en hardware más modesto.

Para qué sirve

La destilación sirve para reducir costo y latencia sin perder mucha calidad. Es útil cuando necesitas ejecutar IA en dispositivo (on-device), en edge o con presupuesto ajustado.

También se usa para crear modelos especializados: un modelo grande generalista enseña a un modelo pequeño enfocado en código o en atención al cliente, por ejemplo.

Diferencia entre destilación y fine-tuning

En el fine-tuning, el modelo aprende directamente de ejemplos etiquetados por humanos. En la destilación, aprende con las salidas de otro modelo. El fine-tuning exige datos de alta calidad y es más caro. La destilación aprovecha el conocimiento ya condensado en el profesor y suele ser más barata.

Extensión para VS Code

¿Te gustó la definición de Destilación de modelo? Aplícalo en la práctica con IA

Orquesta squads de agentes (Claude, OpenCode, Codex, Antigravity y mucho más) en VS Code con control total, git worktrees aisladas y tus propias APIs o suscripciones sin costos intermedios.

Multi-agentes paralelosAPIs o suscripcionesAgentes para multitareas

Conocer bridgecode

Preguntas frecuentes sobre Destilación de modelo

¿La destilación de modelo pierde mucha calidad?

La pérdida suele ser pequeña cuando el profesor es fuerte y los datos son buenos. Los modelos destilados suelen quedar a pocos puntos del profesor en los benchmarks, con una gran ganancia en velocidad y costo.

¿Puedo destilar cualquier modelo?

Solo modelos cuyos pesos o salidas puedes acceder. Los modelos cerrados como GPT-4 o Claude no permiten destilación directa, a menos que el proveedor ofrezca una API de destilación. Los modelos abiertos son los más usados como profesor.

¿La destilación es lo mismo que la compresión de modelo?

No. La compresión (como cuantización o pruning) reduce el tamaño del mismo modelo. La destilación crea un modelo nuevo y más pequeño que imita al original. Ambas técnicas pueden combinarse.