机器学习基础回顾：监督学习、无监督学习与模型评估指标

在进入企业级模型交付流程之前，必须先建立一套统一的“度量语言”。业务方关心的是“这个模型能不能用”，工程师关心的是“这个模型哪里不行”，而数据科学家则需要一套客观指标来指导模型迭代。本章回顾监督学习与无监督学习的核心范式，并重点剖析分类模型中最常用的评估指标——准确率、精确率、召回率、F1与AUC，帮助你在后续章节中准确解读模型卡、测试报告与上线评审意见。

一、核心原理：两种学习范式

机器学习按训练数据的标注情况可分为两大类：监督学习与无监督学习。二者的本质区别在于：训练时是否存在“正确答案”作为监督信号。

监督学习：训练样本为 (x, y) 对，其中 x 是特征向量，y 是标签（离散类别或连续数值）。模型学习从 x 到 y 的映射函数。典型任务包括分类（垃圾邮件识别、信用违约预测）和回归（房价预测、销量预估）。
无监督学习：训练样本只有 x，没有标签。模型需要自行发现数据内在结构。典型任务包括聚类（用户分群）、降维（特征压缩）和异常检测（无标签场景下的离群点识别）。

在企业实践中，监督学习是模型交付的主力，因为业务目标通常可以转化为明确的标签（如“是否逾期”“是否点击”）。无监督学习则常用于探索性分析、特征工程和冷启动场景。

交付视角提示：在模型立项阶段，第一件事不是选算法，而是确认“我们拥有的是有标签数据还是无标签数据”。这直接决定了后续的数据标注预算、模型选型和评估方案。

二、分类模型评估指标：从混淆矩阵说起

所有分类指标都建立在混淆矩阵（Confusion Matrix）之上。以二分类为例，将预测结果与真实标签交叉统计，得到四个基础数值：

	预测为正类 (P)	预测为负类 (N)
实际为正类	TP（真正例）	FN（假负例）
实际为负类	FP（假正例）	TN（真负例）

基于这四个数值，衍生出以下核心指标：

准确率（Accuracy）：(TP + TN) / (TP + TN + FP + FN)。所有样本中预测正确的比例。在类别均衡时直观有效，但在类别不平衡时极具误导性。
精确率（Precision）：TP / (TP + FP)。预测为正类的样本中，真正为正类的比例。衡量“模型说它是正类，有多可信”。
召回率（Recall）：TP / (TP + FN)。实际为正类的样本中，被模型找出来的比例。衡量“模型有没有漏掉正类”。
F1分数：2 * (Precision * Recall) / (Precision + Recall)。精确率与召回率的调和平均，兼顾二者，适合类别不平衡场景。
AUC（Area Under the ROC Curve）：ROC曲线下的面积。它衡量模型在所有分类阈值下，随机正样本排在随机负样本之前的概率。AUC 取值范围 [0.5, 1]，0.5 表示随机猜测，越接近 1 表示排序能力越强。

下图展示了从原始预测分数到最终评估指标的核心链路，以及各指标之间的依赖关系：

三、方法流程：如何正确选择评估指标

在实际项目中，指标选择不是随意的，而是由业务代价决定的。以下流程可帮助你快速定位合适的指标：

明确正类定义：在二分类中，哪一类是“需要被优先识别”的？例如在风控中，正类是“违约用户”；在推荐中，正类是“点击用户”。
分析类别分布：正负样本比例是否悬殊？如果正类占比低于 10%，准确率将失去参考价值。
评估错误代价：FP 和 FN 哪个代价更高？医疗筛查中 FN（漏诊）代价极高，应优先提高召回率；垃圾邮件过滤中 FP（误杀正常邮件）代价更高，应优先提高精确率。
确定阈值：使用验证集绘制 PR 曲线或 ROC 曲线，根据业务容忍度选择最优阈值。
综合评估：在类别不平衡时，优先看 F1 和 AUC；在类别均衡时，可同时参考准确率。

四、案例：信贷风控模型评估

假设我们为某消费金融公司构建了一个“是否违约”的二分类模型，测试集包含 10,000 个样本，其中违约用户（正类）实际有 500 人。模型预测结果如下：

预测为正类且实际为正类（TP）：350 人
预测为负类但实际为正类（FN）：150 人
预测为正类但实际为负类（FP）：200 人
预测为负类且实际为负类（TN）：9,300 人

计算各指标：

准确率 = (350 + 9300) / 10000 = 0.965
精确率 = 350 / (350 + 200) = 0.636
召回率 = 350 / (350 + 150) = 0.700
F1 = 2 * (0.636 * 0.700) / (0.636 + 0.700) ≈ 0.667
AUC = 0.812（由 ROC 曲线计算得出）

从准确率看，模型似乎表现优秀（96.5%）。但精确率仅 63.6%，意味着每 100 个被标记为“违约”的用户中，约有 36 个会被误伤；召回率 70%，意味着 30% 的违约用户未被识别。如果该业务的目标是“尽可能不放过违约者”，则当前模型需要继续优化；如果目标是“减少人工审核成本”，则精确率是更关键的指标。

常见误区：在类别不平衡数据集中，盲目追求高准确率会导致模型退化为“全预测为负类”的平庸模型。例如上述案例中，如果模型将所有样本都预测为负类，准确率仍高达 95%，但召回率为 0，模型毫无实际价值。因此，必须结合精确率、召回率或 F1 综合判断。

五、误区与复盘：AUC 的局限性

AUC 虽然广泛使用，但并非万能。以下场景需要特别警惕：

AUC 对阈值不敏感：AUC 衡量的是排序能力，不反映具体阈值下的实际表现。两个模型可能有相同的 AUC，但在业务关心的阈值区间表现差异巨大。
高 AUC 不等于高精确率：AUC 高只说明正负样本的分数分布分离度好，但若业务需要高精确率，仍需单独调阈值。
在极端不平衡下 AUC 可能虚高：当负类样本占绝对主导时，AUC 容易被大量 TN 拉高，掩盖正类识别能力不足的问题。

复盘建议：在模型交付报告中，同时给出混淆矩阵、精确率、召回率、F1 和 AUC，并注明所选阈值及业务背景。这样评审人员才能完整判断模型是否满足上线要求。

  交付清单：
  明确正类定义与业务代价矩阵
报告混淆矩阵原始数值（TP/FP/FN/TN）
给出所选阈值下的 Precision、Recall、F1
给出 AUC 及 ROC 曲线图
说明类别分布情况与数据采样方式

掌握这些基础指标，是后续理解模型验证、上线监控和模型迭代的基石。在下一阶段，我们将把这些评估方法应用到模型交付的完整流程中，确保每一个环节都有可量化的质量门槛。