模型评估基础：混淆矩阵、准确率、精确率、召回率、F1-score、ROC曲线与AUC值
模型评估这件事，说白了就是回答一个问题：这个模型到底行不行？
我见过不少团队，模型训练完了，看一眼准确率90%多，就觉得万事大吉。结果一上线，漏检率爆表，客户直接投诉。为什么？因为只看准确率，在工业场景里远远不够。
这一章，我们就把评估指标彻底讲透。你不仅要会用，还要知道什么时候该用哪个。
2.1 混淆矩阵：一切评估的起点
混淆矩阵是理解所有分类指标的基础。它就是一个2×2的表格，记录了模型预测结果与真实标签的对应关系。
| 预测为正类 (Positive) | 预测为负类 (Negative) | |
|---|---|---|
| 真实为正类 | TP (True Positive) 正确检测 |
FN (False Negative) 漏检 |
| 真实为负类 | FP (False Positive) 误检 |
TN (True Negative) 正确拒收 |
这四个值，就是所有指标的原材料。我个人习惯，拿到一个模型先看混淆矩阵，而不是先看准确率。矩阵能告诉你模型在「犯错」上的分布——是漏检多，还是误检多？这直接决定了后续的优化方向。
- TP：模型说「有」，实际也有 → 正确
- FN：模型说「没有」，实际有 → 漏检（最危险）
- FP：模型说「有」，实际没有 → 误检（浪费人力）
- TN：模型说「没有」，实际也没有 → 正确
2.2 从混淆矩阵衍生出的核心指标
准确率 (Accuracy)
公式很简单：(TP + TN) / (TP + TN + FP + FN)。它衡量的是「所有样本中，模型判断正确的比例」。
但我要提醒你：准确率在工业缺陷检测中经常骗人。为什么？因为缺陷样本通常只占1%甚至更低。你模型什么都不做，全部判为「OK」，准确率也有99%。这有意义吗？没有。
精确率 (Precision) 与召回率 (Recall)
这两个指标，才是工业场景里的主角。
- 精确率 = TP / (TP + FP)：模型说「有缺陷」的样本里，有多少是真的有缺陷？它衡量的是「抓得准不准」。
- 召回率 = TP / (TP + FN)：所有真正的缺陷里，模型抓出来了多少？它衡量的是「抓得全不全」。
你想想看，这两个指标往往是矛盾的。你把阈值设低一点，召回率上去了，但误检也多了，精确率就下降。反过来，阈值设高，精确率上去了，但可能漏掉很多缺陷。
F1-score：精确率与召回率的调和平均
公式：F1 = 2 * (P * R) / (P + R)
F1-score是一个综合指标，当精确率和召回率都高时，F1才高。它适合用来对比不同模型的整体表现。
| 指标 | 关注点 | 工业场景适用性 |
|---|---|---|
| 准确率 | 整体正确率 | 仅适用于平衡数据集 |
| 精确率 | 误检控制 | 误检成本高的场景 |
| 召回率 | 漏检控制 | 缺陷后果严重的场景 |
| F1-score | 综合平衡 | 模型选型对比 |
2.3 ROC曲线与AUC值
前面说的指标，都依赖于一个固定的分类阈值（比如0.5）。但实际中，阈值是可以调整的。ROC曲线就是用来评估模型在不同阈值下的综合表现。
ROC曲线：横轴是FPR（假正率 = FP / (FP + TN)），纵轴是TPR（真正率 = 召回率）。曲线越靠近左上角，模型性能越好。
AUC值：ROC曲线下的面积。AUC=1是完美模型，AUC=0.5是随机猜测。
- 当你需要对比不同模型的「排序能力」时
- 当你的数据集正负样本比例严重失衡时（ROC对不平衡相对鲁棒）
- 当你还没确定最终阈值时
不过说实话，在工业部署阶段，我更倾向于直接看精确率-召回率曲线（PR曲线），因为PR曲线对正样本（缺陷）更敏感，更贴近实际业务。
2.4 知识体系总览
下面这张图，把本章的核心概念串起来了。你可以把它当作评估指标的「导航地图」。
2.5 实战建议：如何选择评估指标
说了这么多，到底怎么用？我总结了一个简单的决策流程：
- 先看混淆矩阵：了解模型犯错的结构，是漏检多还是误检多。
- 确定业务优先级：漏检致命？还是误检成本高？前者盯召回率，后者盯精确率。
- 用F1-score做横向对比：选模型时，F1-score是很好的综合指标。
- 用ROC/AUC做前期验证：数据不平衡时，AUC能帮你快速判断模型有没有「区分能力」。
- 部署前看PR曲线：根据业务容忍度，找到最优阈值。