第3章 监督/无监督/半监督、偏差方差与过拟合面试攻略
本章聚焦机器学习面试三大基础模块：学习范式区分、偏差‑方差权衡与过拟合诊断。面试官常通过这组问题考察候选人对模型本质的理解深度。掌握结构化回答框架，能从原理到实战快速建立逻辑链路。
| 学习范式 | 标签需求 | 典型任务 | 代表算法 | 核心痛点 |
|---|---|---|---|---|
| 监督学习 | 全量标注 | 分类 / 回归 | LR、SVM、XGBoost | 标注成本高、过拟合风险 |
| 无监督学习 | 无标签 | 聚类 / 降维 / 异常检测 | K‑Means、PCA、DBSCAN | 评估困难、结果不可解释 |
| 半监督学习 | 少量标注 | 分类 + 聚类联合 | Self‑Training、图半监督 | 标签传播误差累积 |
💡 回答路径提示：先判断模型处于欠拟合还是过拟合，引出偏差‑方差解释，再用正则化/交叉验证/数据增强作为解决方案，最后给出实际业务中的调优建议。
面试题 1：请解释监督学习、无监督学习、半监督学习的区别，并各举一个典型应用
🎯 考察点：对三种学习范式本质的理解（标签依赖）；能否结合实际场景阐述；区分半监督与自监督的边界。
📈 回答框架
- 定义差异：监督学习使用全量标注样本学习映射函数；无监督学习从无标签数据中发现内在结构；半监督学习利用少量标注+大量未标注数据提升泛化。
- 典型算法：监督→逻辑回归/随机森林；无监督→K‑Means/PCA；半监督→自训练/图卷积。
- 业务落地：监督→信用评分卡；无监督→用户分群；半监督→医疗影像辅助标注。
✏️ 示例回答（~80字）
监督学习依赖完整标签，如CT图像良恶性分类；无监督学习无标签，如电商用户行为聚类发现高价值客群；半监督学习仅用5%标注数据，结合伪标签传播，在少样本OCR中高效提升识别率。
🔍 可能追问
- 半监督学习中的标签传播方法有哪些？如何避免噪声传播？
- 自监督学习与半监督学习有何异同？
- 在正负样本极度不平衡时，三种范式各自如何应对？
⚠️ 避坑提醒：不要混淆半监督与自监督。半监督的核心是“利用少量标注引导大量无标注”；自监督本质属于无监督，通过代理任务构造标签。
面试题 2：什么是偏差和方差？如何权衡？请结合欠拟合与过拟合说明
🎯 考察点：理解偏差‑方差的数学定义；能否用图形或直觉解释；是否知道权衡的工程方法。
📈 回答框架
- 核心概念：偏差衡量预测均值与真实值的差距（欠拟合主导）；方差衡量预测值的离散程度（过拟合主导）。
- 权衡曲线：随着模型复杂度增加，偏差下降、方差上升，总误差呈现U形。
- 实战做法：通过交叉验证找到最佳复杂度点；使用正则化 λ 控制方差；增加训练数据可同时降低偏差和方差。
✏️ 示例回答（~90字）
偏差指模型预测的期望与真实值的偏离，高偏差通常对应欠拟合；方差指模型在不同训练集上的波动，高方差对应过拟合。权衡时，我常用10折交叉验证绘制复杂‑误差曲线，选取拐点。例如LightGBM中调大max_depth会降低偏差但增加方差，需用min_child_samples等正则参数抑制。
🔍 可能追问
- 集成学习中Bagging和Boosting分别如何影响偏差和方差？
- 如何通过学习曲线诊断偏差‑方差比例？
- 深度学习中如何用Dropout调控方差？
⚠️ 避坑提醒：不要只背诵定义。一定要结合具体算法（如决策树深度、SVM核宽度）说明调整手段，让面试官感受到你有落地经验。
面试题 3：描述过拟合的原因、检测方法以及常见解决方案
🎯 考察点：系统诊断能力；正则化原理；数据层面与算法层面的应对方案。
📈 回答框架
- 原因：模型过于复杂（特征多、参数多）；训练数据不足或噪声偏大；迭代轮数过多。
- 检测：训练误差持续下降但验证误差开始上升；学习曲线呈现“高方差”形态；交叉验证得分差异大。
- 解决方案：增加数据（数据增强/合成样本）；正则化（L1/L2/Dropout）；早停法；简化模型结构；集成学习降低方差。
✏️ 示例回答（~90字）
过拟合通常因模型记忆噪声无法泛化。我在CTR预估任务中遇到：FM模型在500万样本上验证AUC 0.82，但测试AUC仅0.75。通过添加L2正则（λ=0.1）、采用EarlyStopping (patience=5) 并做交叉验证后，测试AUC提升至0.80。同时使用特征选择去除低频交叉特征。
🔍 可能追问
- L1和L2正则化在过拟合场景下有何不同效果？
- 如何判断当前过拟合程度？有无量化指标？
- 深度学习中的Batch Normalization是否缓解过拟合？原理是什么？
⚠️ 避坑提醒：回答时不要只罗列方法，要按 “检测→分析根因→选择方案→验证效果” 的闭环逻辑展开，展示你解决问题的系统思维。