Overfitting, ou sobreajuste, acontece quando um modelo de aprendizado de máquina se ajusta demais aos exemplos usados no treinamento e aprende detalhes específicos que não representam padrões úteis para novos casos. O modelo pode parecer funcionar muito bem nos dados já vistos, mas ter dificuldade quando recebe exemplos diferentes.
Esse fenômeno está ligado à generalização: a capacidade de aplicar o que foi aprendido a situações que não participaram do treinamento. Um resultado alto nos dados conhecidos, por si só, não mostra que o sistema será confiável em produção.
Como funciona
No aprendizado supervisionado, o treinamento apresenta exemplos e respostas esperadas. O algoritmo ajusta parâmetros para reduzir erros nesses exemplos. Se continuar capturando particularidades, ruído ou coincidências do conjunto, o modelo pode memorizar aspectos que não se repetem em dados novos.
Para observar esse comportamento, os dados costumam ser separados em conjuntos com funções diferentes. Os dados de treinamento ajustam o modelo; os de validação ajudam a orientar escolhas; e um conjunto de teste reservado pode oferecer uma avaliação final. Se a equipe consulta repetidamente o teste para decidir mudanças, acaba adaptando o processo a ele e enfraquece sua independência.
Uma diferença persistente entre o desempenho no treinamento e na validação pode ser um sinal de alerta, mas não é a única explicação possível. Os conjuntos podem ter distribuições diferentes, rótulos inconsistentes ou até compartilhar informação indevidamente. A equipe deve revisar os dados e o desenho da avaliação antes de concluir que há sobreajuste.
Entre as medidas possíveis estão simplificar o modelo, usar regularização, ampliar a variedade de dados apropriados ou interromper o treinamento quando a validação deixar de melhorar. Nenhuma técnica serve para todos os casos. É preciso avaliar se a mudança melhora o comportamento em exemplos que representem o uso pretendido.
Exemplo prático
Imagine um classificador treinado para distinguir fotos de maçãs e peras. No conjunto de treinamento, quase todas as fotos de maçãs foram feitas sobre uma mesa clara, enquanto muitas fotos de peras têm fundo escuro. O modelo pode aprender a usar a cor do fundo como atalho, em vez de reconhecer características relevantes das frutas.
Nas imagens conhecidas, as previsões podem parecer corretas. Quando uma maçã aparece sobre fundo escuro, o atalho pode levar a um erro. Para investigar, a equipe avalia imagens separadas, confere a diversidade dos fundos e examina exemplos classificados incorretamente.
A equipe pode reunir dados mais variados e rever a preparação das imagens. Depois, testa novamente em dados que não foram usados para orientar essas mudanças. Repetir o treinamento sem alterar as evidências ou o processo de avaliação não resolve necessariamente o problema.
Para que serve
Entender overfitting ajuda a avaliar se o modelo aprendeu relações úteis ou apenas se adaptou à amostra de treinamento. O conceito orienta a preparação dos dados, a escolha do modelo e a interpretação de resultados de validação. É relevante em tarefas de classificação, previsão e outras aplicações de machine learning.
A prevenção começa no desenho do experimento: separar os conjuntos com cuidado, evitar vazamento de informação e escolher avaliações coerentes com o uso esperado. Se os dados futuros diferirem muito dos usados no desenvolvimento, até um modelo sem sinais claros de sobreajuste pode ter desempenho fraco.
Por isso, teste e monitoramento devem considerar as condições reais de aplicação e os limites dos dados. Overfitting é uma possibilidade importante, mas não é a única causa de erro em exemplos novos.