Cómo funciona
Parte de un modelo base (pre-trained) que predecía texto. El entrenamiento usa pares de instrucción-respuesta. El modelo aprende a responder preguntas, ejecutar tareas y seguir comandos.
La etapa de instruction tuning es lo que diferencia un modelo base de un modelo instruido (instruct). Sin ella, el modelo solo completa texto. Con ella, el modelo responde preguntas de forma coherente.
El proceso suele implicar supervised fine-tuning (SFT) con datos curados de instrucciones. Empresas como Meta, Mistral y Google usan instruction tuning para crear las versiones "Instruct" de sus modelos.
Ejemplo práctico
Llama 3 base predice el próximo token. Tras el instruction tuning, se convierte en Llama 3 Instruct, capaz de responder "explique qué es una API" de forma coherente. Sin esa etapa, el modelo base solo completaría texto sin responder la pregunta.
Un modelo base puede tener el conocimiento, pero no sabe cómo presentarlo. Instruction tuning enseña el formato de respuesta, el tono y la capacidad de seguir instrucciones complejas con múltiples pasos.
Para qué sirve
Entender instruction tuning ayuda a elegir entre modelo base y modelo instruido para una aplicación. Los modelos base son útiles para fine-tuning personalizado. Los modelos instruidos son útiles para uso directo como asistentes.
Para los desarrolladores, esto significa saber cuándo usar cada tipo de modelo. Para los investigadores, significa entender cómo mejorar modelos con datos de instrucción de calidad.
Diferencia entre modelo base y modelo instruido
El modelo base predice el próximo token con base en el texto de entrenamiento. Es bueno para completar texto y para fine-tuning personalizado. El modelo instruido sigue comandos y responde preguntas. Es bueno para uso directo como asistente o agente.
Un modelo instruido pierde un poco de la flexibilidad del modelo base (puede ser más difícil de hacer fine-tuning). Pero gana en usabilidad y capacidad para seguir instrucciones.