Como funciona
Os dados são divididos em treino, validação e teste. O modelo aprende com o treino, ajusta hiperparâmetros com a validação e só no fim é avaliado no conjunto de teste, que deve permanecer intocado até lá. Isso simula o desempenho em dados novos e evita otimismo excessivo.
Exemplo prático
Você tem 10 mil exemplos. Usa 7 mil para treino, 1,5 mil para validação e 1,5 mil para teste. O modelo nunca vê os 1,5 mil de teste até a avaliação final, garantindo uma medida honesta.
Para que serve
Garante uma estimativa honesta da performance. Se você usar o teste para ajustar o modelo, perde a capacidade de saber como ele se comporta em produção e pode superestimar a qualidade.
Boas práticas
Mantenha o conjunto de teste intocado até o final. Evite olhar para ele durante o desenvolvimento. Se precisar iterar, use o conjunto de validação e reserve o teste apenas para a avaliação final.