📚 课程目录第2章基础概念回顾

2. 基础概念回顾：混淆矩阵与核心评估指标

在调整模型阈值之前，必须牢固掌握分类模型最基础的评估工具——混淆矩阵，以及由其衍生出的四个核心指标：准确率、精确率、召回率和 F1-score。这些概念是理解阈值如何影响模型行为的数学基础。

混淆矩阵是一个 2×2 的表格，用于对比模型预测结果与真实标签。对于二分类问题，通常将我们更关心的类别定义为 正类（Positive），另一类为 负类（Negative）。

真实 \ 预测	预测为正类（Positive）	预测为负类（Negative）
实际为正类	TP（真正例）模型正确识别为正类	FN（假负例）模型错误地判为负类（漏报）
实际为负类	FP（假正例）模型错误地判为正类（误报）	TN（真负例）模型正确识别为负类

  业务含义速记：
  TP：抓对了（例如：正确识别出欺诈交易）。
FP：误伤了（例如：将正常交易误判为欺诈，引发用户投诉）。
FN：漏掉了（例如：未识别出真正的欺诈交易，造成实际损失）。
TN：放对了（例如：正确放过正常交易）。

基于混淆矩阵的四个数值，可以计算出以下关键指标。每个指标都从不同角度衡量模型性能，且对阈值变化敏感。

数学定义：

Accuracy = (TP + TN) / (TP + TN + FP + FN)

业务含义：所有预测中，预测正确的比例。适用于正负样本均衡的场景。在样本极度不平衡时（如欺诈检测中正类仅占 1%），即使模型全部预测为负类，准确率仍可达 99%，但模型毫无价值。

数学定义：

Precision = TP / (TP + FP)

业务含义：在所有被模型预测为正类的样本中，有多少是真正的正类。精确率衡量模型“抓得准不准”。高精确率意味着模型很少误报（FP 少），适合“宁缺毋滥”的场景，如垃圾邮件过滤——误将正常邮件判为垃圾邮件的代价很高。

数学定义：

Recall = TP / (TP + FN)

业务含义：在所有真正的正类样本中，模型成功找出了多少。召回率衡量模型“抓得全不全”。高召回率意味着模型很少漏报（FN 少），适合“宁可错杀一千，不可放过一个”的场景，如癌症筛查——漏掉一个真正的患者后果严重。

数学定义：

F1 = 2 * (Precision * Recall) / (Precision + Recall)

业务含义：精确率和召回率的调和平均数。当两者都高时，F1 才高。F1 在精确率和召回率之间取得平衡，是评估模型综合性能的常用指标，尤其适用于正负样本不平衡且需要同时关注误报和漏报的场景。

阈值调整的核心洞察：提高阈值（要求模型更确信才判为正类）通常会提升精确率（FP 减少），但会降低召回率（FN 增加）。降低阈值则相反。F1-score 可以帮助你找到两者之间的最佳平衡点。

在实际项目中，应根据业务痛点选择优化目标，进而指导阈值调整方向。

业务场景	首要优化指标	阈值调整倾向	原因
癌症初筛	召回率	降低阈值	宁可误报，不可漏诊
垃圾邮件过滤	精确率	提高阈值	误删正常邮件代价高
欺诈交易检测	F1-score	寻找平衡点	误报和漏报都会造成损失
用户流失预测	召回率	降低阈值	希望尽可能覆盖潜在流失用户

常见误区：不要盲目追求高准确率。在不平衡数据集上，准确率具有欺骗性。始终结合混淆矩阵和业务成本来评估模型。阈值调整的本质就是在精确率和召回率之间做权衡。