Como funciona
Em machine learning, os dados são divididos em três partes: treino, validação e teste. O conjunto de treino ensina o modelo. O conjunto de validação ajuda a tomar decisões: qual arquitetura usar, quais hiperparâmetros ajustar, quando parar o treinamento.
A validação funciona como um ensaio geral. Você treina várias versões do modelo e compara o desempenho no conjunto de validação para escolher a melhor. Depois de escolher, avalia o modelo final no conjunto de teste, que nunca foi usado antes.
A regra de ouro é: o conjunto de teste só é usado uma vez, no fim. Se você olhar o teste várias vezes para ajustar o modelo, ele vira validação e perde a função de avaliar generalização.
Exemplo prático
Imagine treinar um modelo para classificar emails como spam. Você tem 10 mil emails rotulados. Usa 7 mil para treino, 1.5 mil para validação e 1.5 mil para teste.
Durante o treino, você testa diferentes valores de taxa de aprendizado e número de camadas, comparando a acurácia na validação. Escolhe a configuração com melhor resultado na validação. No fim, mede a acurácia final no conjunto de teste, que nunca foi tocado.
Se você usar o teste para escolher a configuração, o modelo pode se ajustar ao teste e parecer melhor do que realmente é. Isso é chamado de overfitting ao conjunto de teste.
Para que serve
O conjunto de validação serve para ajustar hiperparâmetros, escolher entre modelos e decidir quando parar o treinamento (early stopping). Sem ele, você não tem como saber se as mudanças que fez estão melhorando o modelo ou apenas decorando os dados de treino.
Diferença entre validação e teste
Validação é usada repetidamente durante o desenvolvimento para tomar decisões. Teste é usado uma única vez, no fim, para medir o desempenho final. Validação orienta escolhas; teste mede resultado.