1. 模型评估基础
做模型评估，说白了就是回答一个问题：这模型到底行不行？
我见过不少团队，模型在测试集上跑了个95%的准确率就欢呼雀跃，结果一上线，业务方直接炸了——漏检率太高，用户投诉铺天盖地。为什么会这样？因为准确率这个指标，在某些场景下就是个“美丽的陷阱”。
所以，咱们得先把评估的基础打牢。这一章，我把最核心的几个概念掰开揉碎讲清楚。
1.1 混淆矩阵：一切评估的起点
混淆矩阵（Confusion Matrix）是评估分类模型最基础的工具。它把模型的预测结果和真实标签做了一个交叉统计，形成一个2×2的表格。
| 真实 \ 预测 | 预测为正类 (Positive) | 预测为负类 (Negative) |
|---|---|---|
| 实际为正类 | TP (True Positive) 真正例 |
FN (False Negative) 假负例 |
| 实际为负类 | FP (False Positive) 假正例 |
TN (True Negative) 真负例 |
这四个格子，是后面所有指标的“原材料”。
- TP：模型说“是”，实际也是“是”。（正确命中）
- TN：模型说“不是”，实际也不是“不是”。（正确拒绝）
- FP：模型说“是”，实际是“不是”。（误报）
- FN：模型说“不是”，实际是“是”。（漏报）
1.2 从混淆矩阵衍生出的核心指标
有了TP、TN、FP、FN，我们就可以计算各种评估指标了。每个指标都有自己的“脾气”，选错了会出大问题。
1.2.1 准确率 (Accuracy)
公式：Accuracy = (TP + TN) / (TP + TN + FP + FN)
准确率是最直观的指标，表示所有样本中预测正确的比例。但它有一个致命的缺陷：对样本不平衡极其敏感。
举个例子，一个欺诈检测数据集，99%是正常交易，1%是欺诈。模型只要把所有交易都判为“正常”，准确率就是99%。这模型有用吗？一点用都没有，因为它一个欺诈都没抓到。
1.2.2 精确率 (Precision) 与召回率 (Recall)
这两个指标是一对“冤家”，通常需要一起看。
- 精确率 (Precision) =
TP / (TP + FP)。它问的是：模型说“是”的样本里，有多少是真的“是”？关注“查得准不准”。 - 召回率 (Recall) =
TP / (TP + FN)。它问的是：所有真正的“是”里，模型找出来了多少？关注“查得全不全”。
你想想看，在搜索引擎里，你希望搜出来的结果都是相关的（高精确率），还是希望把所有相关的结果都搜出来（高召回率）？通常这两者不可兼得。
1.2.3 F1-Score：精确率与召回率的调和平均
公式：F1 = 2 * (Precision * Recall) / (Precision + Recall)
F1-Score是精确率和召回率的调和平均数。它比算术平均更“苛刻”，只有当两者都高时，F1才会高。如果其中一个很低，F1会被迅速拉低。
| 场景 | 更关注 | 推荐指标 |
|---|---|---|
| 癌症筛查 | 别漏掉病人（宁可误报） | 召回率 (Recall) |
| 垃圾邮件过滤 | 别误删正常邮件 | 精确率 (Precision) |
| 综合性能评估 | 两者平衡 | F1-Score |
1.3 ROC曲线与AUC：模型排序能力的“照妖镜”
前面讲的指标，都是基于一个固定的分类阈值（比如0.5）。但很多模型输出的是一个概率值，我们需要一个能评估模型在不同阈值下表现的工具。这就是ROC曲线和AUC。
1.3.1 什么是ROC曲线？
ROC曲线（Receiver Operating Characteristic Curve）是一条以假正率 (FPR)为横轴，真正率 (TPR，即召回率)为纵轴的曲线。
- FPR =
FP / (FP + TN)。它表示所有负样本中，被误判为正样本的比例。 - TPR =
TP / (TP + FN)。就是召回率。
ROC曲线上的每一个点，都对应一个不同的分类阈值。从(0,0)到(1,1)画一条对角线，代表随机猜测。一个好的模型，其ROC曲线应该尽可能靠近左上角。
1.3.2 AUC：曲线下的面积
AUC（Area Under the Curve）就是ROC曲线下方的面积。它是一个数值，范围在0.5到1之间。
- AUC = 0.5：模型没有区分能力，等同于随机猜测。
- AUC = 1.0：模型有完美的区分能力。
- AUC 越大，模型的排序能力越强。它表示：随机抽取一个正样本和一个负样本，模型将正样本排在负样本前面的概率。
1.4 知识体系总览
下面这张图，把本章的核心概念串了起来。你可以把它当作一个“评估地图”，随时回来对照。
1.5 实战建议：如何选择评估指标？
我个人习惯，在开始一个项目前，先和业务方对齐两个问题：
- FP和FN，哪个代价更高？ 如果漏报（FN）的代价远大于误报（FP），那就主攻召回率。反之，则主攻精确率。
- 模型输出是概率还是类别？ 如果是概率，一定要看AUC，它能告诉你模型的上限在哪里。