Cómo funciona
Los datos se dividen en entrenamiento, validación y prueba. El modelo aprende con el entrenamiento, ajusta hiperparámetros con la validación y solo al final se evalúa en el conjunto de prueba, que debe permanecer intacto hasta entonces. Esto simula el desempeño en datos nuevos y evita el optimismo excesivo.
Ejemplo práctico
Tienes 10 mil ejemplos. Usas 7 mil para entrenamiento, 1,5 mil para validación y 1,5 mil para prueba. El modelo nunca ve los 1,5 mil de prueba hasta la evaluación final, lo que garantiza una medida honesta.
Para qué sirve
Garantiza una estimación honesta del rendimiento. Si usas la prueba para ajustar el modelo, pierdes la capacidad de saber cómo se comporta en producción y puedes sobreestimar su calidad.
Buenas prácticas
Mantén el conjunto de prueba intacto hasta el final. Evita mirarlo durante el desarrollo. Si necesitas iterar, usa el conjunto de validación y reserva la prueba solo para la evaluación final.