Não existe uma única métrica que prove que um modelo está bom. A medida precisa refletir o objetivo e o custo dos erros. Um classificador que acerta muitos casos comuns ainda pode falhar justamente na classe rara que a equipe quer encontrar.

Acurácia: quantas previsões acertaram?

Acurácia é a proporção de previsões corretas no conjunto avaliado. É intuitiva quando as classes têm frequências parecidas e os tipos de erro têm custos semelhantes. Com forte desbalanceamento, porém, um modelo que sempre escolhe a classe mais comum pode obter uma acurácia aparentemente alta sem resolver o problema.

Precisão e recall respondem perguntas diferentes

• Precisão: entre os exemplos marcados como positivos, quantos realmente eram positivos? Ajuda quando falsos alarmes custam caro.

• Recall, ou sensibilidade: entre os positivos reais, quantos foram encontrados? Ajuda quando deixar um caso passar custa caro.

• F1 combina precisão e recall por média harmônica; é um resumo útil, mas não elimina a necessidade de olhar cada medida.

A matriz de confusão mostra verdadeiros e falsos positivos e negativos, tornando visível de onde vem o erro. A posição do limiar de decisão pode trocar precisão por recall; por isso, compare mais de um limiar e considere o fluxo humano que receberá os casos.

E quando a saída é um número?

Em regressão, MAE resume o erro absoluto médio e é expresso na mesma unidade do alvo. RMSE penaliza mais fortemente erros grandes. A escolha depende da consequência de desvios extremos; não compare valores de métricas sem considerar escala, conjunto de teste e linha de base.

O limiar também muda o resultado

Muitos classificadores produzem uma pontuação ou probabilidade, que depois é comparada com um limiar. Aumentar o limiar tende a reduzir alertas, mas pode deixar mais positivos sem detecção; diminuí-lo pode encontrar mais casos e gerar mais falsos alarmes. Escolha o ponto de operação com base no custo de cada erro e valide-o em dados separados.

Checklist antes de reportar uma métrica

• Defina qual erro é mais importante para quem usa a previsão.

• Avalie em dados não usados para ajustar o modelo.

• Mostre métricas por classe ou segmento quando diferenças importarem.

• Documente limiar, janela de dados e linha de base junto do número.

Se as métricas contam histórias diferentes, isso é informação para a decisão, não um inconveniente a esconder. Apresente a matriz de confusão e a distribuição das classes junto da métrica resumida. Assim, quem usa o modelo consegue entender o que o número inclui e quais casos ainda precisam de revisão.