Um modelo precisa funcionar em exemplos que ainda não viu. Overfitting acontece quando ele se ajusta demais ao conjunto de treino e perde desempenho em dados novos. Vazamento de dados é diferente: alguma informação do conjunto de avaliação ou do futuro entra no processo de treino e faz a medição parecer melhor do que seria em produção.

Como reconhecer overfitting

Compare as curvas de treino e validação. Se a perda de treino continua caindo enquanto a de validação começa a subir, o modelo pode estar aprendendo detalhes específicos dos exemplos de treino. Uma grande diferença de desempenho entre as duas partições também merece investigação, embora a causa possa ser uma divisão pouco representativa.

Como encontrar vazamento

Pergunte se cada atributo estaria disponível no instante em que a previsão é feita. Confira se o mesmo cliente ou evento aparece em treino e teste, se uma transformação foi ajustada usando toda a base e se campos posteriores ao resultado foram incluídos por engano. Em tarefas temporais, respeitar a ordem dos eventos é essencial.

O que fazer

• Separe treino, validação e teste antes de ajustar transformações.

• Use pipelines para aplicar as mesmas etapas sem treinar o pré-processamento no teste.

• Reduza complexidade, use regularização ou interrompa o treino quando a validação piorar.

• Melhore a cobertura dos exemplos e repita a avaliação com divisões compatíveis com o uso real.

Um roteiro de diagnóstico

Primeiro, reproduza a divisão e confira se existem duplicatas ou identificadores compartilhados entre as partições. Depois, reveja cada atributo e pergunte se estaria disponível no momento da previsão. Só então compare curvas de treino e validação, simplifique o modelo ou altere a regularização. Essa sequência evita tentar corrigir com arquitetura um problema que nasceu na preparação dos dados.

Use a validação para orientar ajustes, mas evite experimentar indefinidamente nela; decisões repetidas podem acabar adaptando o projeto também a essa partição. Deixe o teste intocado até a avaliação final. Se o desempenho mudar muito entre divisões, investigue a variabilidade em vez de selecionar apenas o resultado mais alto.

Adicionar dados não corrige automaticamente o problema. Primeiro confirme a qualidade dos rótulos, a independência das partições e a estabilidade do processo. O objetivo não é maximizar uma pontuação de treino, mas obter previsões úteis em casos novos e monitorar quando o contexto mudar.