机器学习基础：高频问题、回答框架、公司侧重点

🎯 面试问题 1：解释偏差-方差权衡（Bias-Variance Tradeoff）

面试官考察点： 对模型 泛化能力 的本质理解；能否用直觉语言解释抽象概念；是否理解偏差/方差与模型复杂度的关系。

回答框架：

1. 定义偏差：预测值与真实值的偏离程度（欠拟合）
2. 定义方差：预测值在不同数据集上的波动程度（过拟合）
3. 权衡关系：模型复杂度 ↑ → 偏差 ↓ 但方差 ↑ → 总误差 U 型曲线
4. 实际案例：KNN 中 k=1 方差大，k 大偏差大
5. 总结：选择使总误差最小的复杂度

示例回答： 偏差衡量预测偏离真实值的程度，方差衡量预测值的波动性。简单模型高偏差低方差，复杂模型低偏差高方差。总误差 = 偏差² + 方差 + 噪声，最佳模型复杂度在 U 型曲线最低点。例如随机森林通过集成降低方差，同时保持低偏差。

可能追问： 如何判断当前模型高偏差还是高方差？高偏差/高方差分别如何处理？

🎯 面试问题 2：什么是过拟合？有哪些防止方法？

面试官考察点： 对 泛化问题 的认知深度；能否系统性地列出防止方法并解释原理；工程实践经验。

回答框架：

1. 定义：训练集表现好但测试集表现差
2. 判断方法：训练误差 ↓ 但验证误差 ↑
3. 防止方法：正则化、Dropout、早停、数据增强、交叉验证
4. 原理简述：正则化约束参数空间，Dropout 防止协同适应
5. 工程建议：组合使用多种方法效果更优

示例回答： 过拟合是模型过度学习训练数据噪声导致泛化下降。常用防止方法：L1/L2 正则化约束参数大小；Dropout 随机丢弃神经元破坏共适应；早停监控验证集 loss 停止训练；数据增强扩充样本多样性；K 折交叉验证选择最优超参数。实际工程中常组合使用。

可能追问： L1 和 L2 正则化的根本区别？为什么 Dropout 能防止过拟合？早停的最佳时机如何判断？

🎯 面试问题 3：解释梯度下降法及其变体（Batch GD / SGD / Mini-batch GD）

面试官考察点： 对 优化算法 的理解深度；能否清晰对比各变体的优缺点；实际场景中的选择依据。

回答框架：

1. 基本原理：沿负梯度方向迭代更新参数
2. 三种变体：Batch GD（全量）、SGD（单样本）、Mini-batch（小批量）
3. 优缺点对比：Batch GD 准确但慢，SGD 快但波动大，Mini-batch 折中
4. 实际选择：常用 Mini-batch，配合 Adam / RMSProp 自适应学习率

示例回答： 梯度下降通过计算损失函数梯度迭代更新参数最小化损失。Batch GD 用全量样本计算梯度，准确但速度慢且易陷入局部最优；SGD 每次用一个样本更新，波动大但能逃离局部最优；Mini-batch GD 折中，常用 batch size=32~128。实际中多用 Adam 等自适应方法加速收敛。

可能追问： SGD 的缺点及改进方法？Momentum 的作用原理？Adam 是如何自适应调整学习率的？

📁 项目案例：高价值用户流失预警系统

本章项目案例适合在 "介绍一个你做过的机器学习项目" 中直接套用