一、评估指标全景图：为什么需要评估指标？评估指标在模型生命周期中的位置

说实话，我刚入行那会儿，觉得评估指标就是个「交作业用的数字」。模型跑完了，算个准确率，汇报一下，完事。后来踩过几次坑才明白——没有评估指标，你根本不知道模型是好是坏。

举个例子。你训练了一个分类模型，准确率98%，看起来不错吧？但实际业务里，正样本只占2%。你模型啥也不学，全预测成负样本，准确率也是98%。这模型有用吗？一点用都没有。

所以评估指标到底在解决什么问题？我总结了三层：

核心观点：评估指标不是模型训练的终点，而是模型决策的起点。

模型生命周期，说白了就是「从数据到上线再到迭代」的全过程。我习惯把它分成六个阶段。每个阶段，评估指标的角色都不一样。

来，我画个图给你看：

你看，评估阶段是整个流程的「质检关卡」。模型训练完了，不是直接上线，而是先过评估这一关。我见过太多团队，训练时loss降得挺漂亮，一上线就崩——就是因为评估环节没做好。

我个人习惯把评估指标分成两大类。这样分类，选指标的时候思路会清晰很多。

分类	关注点	典型指标	适用场景
模型性能指标	模型本身的预测能力	准确率、精确率、召回率、F1、AUC	离线评估、模型选型
业务效果指标	模型对业务的实际影响	转化率、留存率、ROI、用户满意度	线上评估、A/B测试

我的经验：很多同学只盯着模型性能指标，忽略了业务效果指标。我曾经有个推荐模型，离线AUC做到0.85，上线后转化率反而降了。为什么？因为离线指标没覆盖到用户真实行为模式。所以我现在做项目，一定要求同时看两类指标。

嗯，这里我得说说我踩过的坑。选评估指标这事儿，看着简单，其实门道不少。

只用单一指标：比如只看准确率。我之前有个二分类项目，正负样本比1:99，准确率99%的模型，实际上一半的正样本都漏了。后来加了召回率和精确率，才把问题暴露出来。
指标和业务目标脱节：你优化的是AUC，业务要的是转化率。这两者有时候并不完全正相关。我建议在确定指标前，先问一句：「这个指标提升了，业务真的会变好吗？」
忽略指标的可解释性：有些指标数学上很漂亮，但业务方听不懂。比如Kappa系数、马修斯相关系数。不是不能用，但你得想清楚怎么跟产品经理解释。

避坑指南：我曾经在一个风控项目里，只用了AUC来评估模型。结果模型上线后，坏账率没降多少，反而误杀了一大批好用户。后来复盘发现，AUC对概率排序敏感，但对具体的阈值不敏感。而风控业务恰恰需要一个明确的决策阈值。从那以后，我每次选指标都会问自己：「这个指标能直接指导我的业务决策吗？」

说了这么多，其实就想表达一个意思：评估指标不是模型训练完后的「收尾工作」，而是贯穿整个模型生命周期的「导航仪」。

从数据准备阶段开始，你就要想清楚——我最终用什么指标来衡量模型？这个指标会影响到你特征怎么选、模型怎么调、甚至数据怎么清洗。

下一章，我会详细拆解分类模型中最常用的几个指标：准确率、精确率、召回率、F1-score。咱们一个一个说清楚，什么时候用、怎么用、有什么坑。

到时候见。