Cómo funciona
Hiperparámetro es una configuración que se elige para orientar cómo se entrena o ejecuta un modelo, en lugar de aprenderse directamente como un peso durante el entrenamiento. Ejemplos comunes incluyen tasa de aprendizaje, tamaño del batch, número de épocas, límite de regularización y número de capas en una arquitectura.
Los parámetros del modelo y los hiperparámetros tienen roles diferentes. Los parámetros, como los pesos, se ajustan a partir de los datos mediante el proceso de entrenamiento. Los hiperparámetros controlan aspectos de ese proceso, como el tamaño de cada actualización o la cantidad de entrenamiento. Algunos sistemas también tienen hiperparámetros de generación, como temperatura, que afectan la forma de producir una respuesta.
Elegir un hiperparámetro puede cambiar el comportamiento del modelo. Una tasa de aprendizaje alta puede dificultar el ajuste; una muy baja puede hacer que el entrenamiento sea lento o impedir que avance adecuadamente dentro del presupuesto disponible. Un batch más grande cambia la forma en que se agrupan los ejemplos. El efecto depende del conjunto de datos, del algoritmo y de la infraestructura.
El equipo suele probar combinaciones en un conjunto de validación y comparar métricas definidas para la tarea. Es importante mantener separado el conjunto de prueba, usado para la evaluación final, para no elegir repetidamente configuraciones en base a las respuestas de ese conjunto. Registrar las configuraciones y los resultados hace que los experimentos sean reproducibles.
Ejemplo práctico
Imagina que entrenas un clasificador para identificar mensajes de soporte por categoría. Primero, defines una métrica que represente el objetivo, como precisión en las categorías críticas. Luego, pruebas algunas tasas de aprendizaje y tamaños de batch con datos de entrenamiento, sigues la métrica en datos de validación y registras cada configuración.
Si una configuración tiene buen resultado en el entrenamiento y peor resultado en la validación, el modelo puede estar memorizando ejemplos en lugar de generalizar. En ese caso, ajusta el experimento, revisa los datos o considera técnicas de regularización. Cambia pocas variables a la vez cuando necesites entender qué elección influyó en el resultado.
No elijas solo la configuración que produjo el mejor número en una ejecución aislada. Variaciones aleatorias en los datos o en la inicialización pueden afectar la medida. Compara resultados de forma consistente, verifica el costo computacional y mantén una trazabilidad que permita repetir el experimento.
Para qué sirve
Hiperparámetros sirven para controlar el entrenamiento, la arquitectura o la generación de modelos. Ayudan a adaptar un enfoque a un problema, pero no son botones universales: un valor adecuado para un conjunto de datos puede ser inadecuado para otro.
El concepto es útil al ajustar modelos propios, reproducir experimentos, comparar configuraciones y depurar entrenamientos inestables. También ayuda a separar “lo que el modelo aprendió” de las decisiones tomadas por quien construyó el proceso.
Para elegir valores, comienza con una configuración de referencia, define una métrica y realiza experimentos organizados. Registra datos, código, semillas cuando aplique y versiones relevantes. La documentación de entrenamiento de PyTorch presenta un ejemplo de búsqueda de hiperparámetros y evaluación en validación.