2. 机器学习基础回顾：监督学习与无监督学习、模型复杂度与过拟合、特征工程基础、模型评估指标
在深入可解释性技术之前，必须夯实机器学习的基础概念。本章将系统回顾监督学习与无监督学习的核心区别、模型复杂度与过拟合的平衡艺术、特征工程的基本方法，以及最常用的模型评估指标。这些知识是理解后续可解释性方法（如特征重要性、SHAP、LIME）的前提。
2.1 监督学习 vs 无监督学习
机器学习任务根据训练数据是否包含标签，分为监督学习和无监督学习两大类。两者的核心差异在于学习目标和数据形式。
| 维度 | 监督学习 | 无监督学习 |
|---|---|---|
| 训练数据 | 包含输入特征 + 标签（目标变量） | 仅包含输入特征，无标签 |
| 学习目标 | 学习从特征到标签的映射函数 | 发现数据内在结构、分布或模式 |
| 典型任务 | 分类、回归 | 聚类、降维、密度估计 |
| 评估方式 | 与真实标签对比（准确率、RMSE等） | 无真实标签，常用轮廓系数、紧密度等内部指标 |
| 常见算法 | 线性回归、逻辑回归、决策树、SVM、神经网络 | K-Means、DBSCAN、PCA、t-SNE、高斯混合模型 |
| 可解释性关注点 | 特征如何影响预测结果 | 聚类依据、降维后的特征含义 |
可解释性视角： 监督学习模型的可解释性通常聚焦于“为什么模型给出这个预测”，例如通过特征重要性或局部解释；无监督学习的可解释性则更关注“聚类/降维结果是否合理”，例如通过聚类中心的可视化或降维分量的语义分析。
2.2 模型复杂度与过拟合
模型复杂度是机器学习中需要精细调控的核心参数。复杂度过低会导致欠拟合（模型无法捕捉数据规律），复杂度过高则容易过拟合（模型记住了训练数据的噪声，泛化能力差）。
- 欠拟合（Underfitting）：模型在训练集和测试集上表现都差，通常因为模型容量不足或训练不充分。
- 过拟合（Overfitting）：模型在训练集上表现极好，但在测试集上表现差，通常因为模型过于复杂、训练数据不足或噪声过多。
- 理想状态：模型在训练集和测试集上都有良好表现，泛化误差最小。
过拟合的典型表现：
- 训练损失持续下降，验证损失先下降后上升（出现拐点）。
- 模型权重过大或决策边界过于曲折。
- 对训练数据中的异常值或噪声敏感。
下图展示了模型复杂度与误差之间的关系，以及欠拟合、过拟合和最优复杂度区域。
过拟合对可解释性的影响： 过拟合模型往往学习到虚假的噪声模式，导致特征重要性分析或局部解释结果不可靠。在可解释性实践中，应优先使用正则化或交叉验证控制过拟合，再对模型进行解释。
2.3 特征工程基础
特征工程是将原始数据转换为更适合机器学习模型输入的过程。好的特征工程能显著提升模型性能，也是可解释性分析的重要基础——因为模型最终学习的是特征空间中的模式。
2.3.1 特征工程核心步骤
- 特征提取：从原始数据中提取有意义的特征（如从文本提取TF-IDF、从图像提取边缘特征）。
- 特征变换：对特征进行数学变换（如对数变换、标准化、归一化、多项式扩展）。
- 特征编码：将类别特征转换为数值形式（如独热编码、标签编码、目标编码）。
- 特征选择：从原始特征集中选择最相关的子集（如过滤法、包裹法、嵌入法）。
- 特征构造：基于领域知识创建新特征（如组合特征、统计聚合特征）。
2.3.2 常见特征编码方式对比
| 编码方式 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|
| 独热编码 | 无序类别（如颜色、城市） | 不引入顺序假设，线性模型友好 | 高基数类别会导致维度爆炸 |
| 标签编码 | 有序类别（如学历、评级） | 保留顺序信息，节省维度 | 可能引入虚假数值关系 |
| 目标编码 | 高基数类别（如用户ID、邮编） | 压缩维度，利用目标信息 | 容易过拟合，需配合交叉验证 |
| 频率编码 | 类别分布不均匀时 | 简单高效，保留频率信息 | 不同类别可能映射到相同值 |
可解释性建议： 特征工程阶段应尽量保留特征的语义含义。例如，使用独热编码后，每个二进制特征仍然对应原始类别，便于后续解释；而目标编码或PCA降维后的特征含义模糊，会增加解释难度。
2.4 模型评估指标
评估指标是衡量模型性能的标尺。不同任务（分类、回归、排序）需要不同的指标。本节重点介绍分类任务中最常用的五个指标。
2.4.1 混淆矩阵基础
所有分类指标都基于混淆矩阵的四个基本元素：
- TP（True Positive）：真实为正类，预测为正类
- TN（True Negative）：真实为负类，预测为负类
- FP（False Positive）：真实为负类，预测为正类（误报）
- FN（False Negative）：真实为正类，预测为负类（漏报）
2.4.2 核心指标定义与公式
| 指标 | 公式 | 含义 | 适用场景 |
|---|---|---|---|
| 准确率（Accuracy） | (TP + TN) / (TP + TN + FP + FN) | 所有预测中正确的比例 | 类别平衡时通用 |
| 精确率（Precision） | TP / (TP + FP) | 预测为正类中实际为正类的比例 | 关注误报成本（如垃圾邮件检测） |
| 召回率（Recall） | TP / (TP + FN) | 实际为正类中被正确预测的比例 | 关注漏报成本（如疾病筛查） |
| F1分数 | 2 × (Precision × Recall) / (Precision + Recall) | 精确率和召回率的调和平均 | 类别不平衡时综合评估 |
| AUC（ROC曲线下面积） | ROC曲线下积分面积 | 模型区分正负类的整体能力 | 排序任务、阈值无关评估 |
关键理解：
- 准确率在类别不平衡时可能产生误导（例如99%负类、1%正类时，全部预测为负类也能达到99%准确率）。
- 精确率和召回率是一对矛盾指标：提高精确率通常降低召回率，反之亦然。
- F1分数在精确率和召回率之间取得平衡，适合类别不平衡场景。
- AUC衡量模型对所有可能阈值的整体排序能力，值越接近1越好，0.5表示随机猜测。
下图展示了ROC曲线的构成以及AUC的含义。
2.4.3 指标选择指南
- 类别平衡且误报/漏报成本相近：使用准确率。
- 误报成本高（如垃圾邮件误判为正常邮件）：优先优化精确率。
- 漏报成本高（如癌症漏诊）：优先优化召回率。
- 类别不平衡且需要综合评估：使用F1分数或加权F1。
- 需要评估模型整体排序能力（如推荐系统、信用评分）：使用AUC。
可解释性中的指标陷阱： 在可解释性分析中，不能仅依赖单一指标。例如，一个高准确率但低召回率的模型可能在关键子群体上表现极差。建议结合混淆矩阵和分层评估（按特征值分组计算指标）来全面评估模型行为。