Cómo funciona
En machine learning, los datos se dividen en tres partes: entrenamiento, validación y prueba. El conjunto de entrenamiento enseña al modelo. El conjunto de validación ayuda a tomar decisiones: qué arquitectura usar, qué hiperparámetros ajustar, cuándo detener el entrenamiento.
La validación funciona como un ensayo general. Entrenas varias versiones del modelo y comparas el desempeño en el conjunto de validación para elegir la mejor. Después de elegir, evalúas el modelo final en el conjunto de prueba, que nunca se usó antes.
La regla de oro es: el conjunto de prueba solo se usa una vez, al final. Si miras la prueba varias veces para ajustar el modelo, se convierte en validación y pierde su función de evaluar la generalización.
Ejemplo práctico
Imagina entrenar un modelo para clasificar correos como spam. Tienes 10 mil correos etiquetados. Usas 7 mil para entrenamiento, 1.5 mil para validación y 1.5 mil para prueba.
Durante el entrenamiento, pruebas diferentes valores de tasa de aprendizaje y número de capas, comparando la exactitud en la validación. Eliges la configuración con mejor resultado en la validación. Al final, mides la exactitud final en el conjunto de prueba, que nunca se tocó.
Si usas la prueba para elegir la configuración, el modelo puede ajustarse a la prueba y parecer mejor de lo que realmente es. Esto se llama overfitting al conjunto de prueba.
Para qué sirve
El conjunto de validación sirve para ajustar hiperparámetros, elegir entre modelos y decidir cuándo detener el entrenamiento (early stopping). Sin él, no tienes forma de saber si los cambios que hiciste están mejorando el modelo o solo memorizando los datos de entrenamiento.
Diferencia entre validación y prueba
La validación se usa repetidamente durante el desarrollo para tomar decisiones. La prueba se usa una sola vez, al final, para medir el desempeño final. La validación orienta las elecciones; la prueba mide el resultado.