第3章 机器学习基础面试：线性模型、树模型、集成学习、正则化
本章聚焦面试中最高频的机器学习基础考点：线性模型假设、树模型分裂逻辑、集成学习策略与正则化技术。以下通过3个典型问答卡片 + 1张回答框架图，帮助你在短时间内建立结构化回答路径。
🎯 面试问题1：L1和L2正则化的区别是什么？
- 面试官考察点： 对正则化本质的理解、数学推导能力、实际应用经验。
- 回答框架：
- 先明确正则化目的（防止过拟合）。
- 分别给出L1/L2的数学形式与几何解释。
- 对比核心区别：L1产生稀疏解，L2产生参数缩放。
- 举例说明适用场景：L1用于特征选择，L2用于防止共线性。
- 补充调参经验：λ的控制与交叉验证。
- 简短示例回答： L1正则化在损失函数后加λ∑|w|，导数不连续导致部分权重为0，适合特征稀疏。L2加λ∑w²，导数连续使权重均匀缩小，适合所有特征的平滑。通常先用L2，若需特征筛选则选L1。
- 可能追问：
- 为什么L1能产生稀疏解？从次梯度角度解释。
- L1与L2能否同时使用？弹性网络（Elastic Net）的原理。
- 正则化系数λ如何选择？交叉验证+网格搜索。
- 避坑提醒： 避免仅背诵公式而不解释几何意义；不要混淆L1/L2对模型复杂度的影响；注意说明正则化不改变模型的结构形式。
🎯 面试问题2：决策树与线性模型相比有哪些优缺点？
- 面试官考察点： 对模型假设的理解、特征处理能力、可解释性与稳定性比较。
- 回答框架：
- 线性模型假设特征与目标呈线性关系，决策树通过划分超空间拟合非线性。
- 决策树优点：不需要特征缩放、天然处理非线性、可解释性强。
- 决策树缺点：易过拟合、对连续特征边界敏感、缺少全局平滑性。
- 线性模型优点：参数可解释、数学性质好、高维稀疏表现佳。
- 线性模型缺点：需手动特征工程、无法直接捕捉交互作用。
- 简短示例回答： 线性模型如逻辑回归适合高维稀疏数据，训练快，但需要特征组合。决策树如CART能自动捕捉特征交互，适合表格数据，但单棵树方差大，易过拟合。实际常通过集成方法（如XGBoost）平衡两者。
- 可能追问：
- 如何缓解决策树的过拟合？剪枝、最小叶子样本数、深度限制。
- 线性模型如何处理非线性？多项式特征、核技巧（如SVM）。
- 在AIGC任务中你更倾向用哪种？为什么？
- 避坑提醒： 不要笼统地说“树模型比线性模型好”，一定要结合数据场景；注意区分分类树和回归树；避免忽略决策树对缺失值的处理能力。
🎯 面试问题3：集成学习中的Bagging和Boosting核心区别是什么？
- 面试官考察点： 对集成策略的理解、方差-偏差权衡、典型算法对比。
- 回答框架：
- 先说明集成学习的动机：组合弱学习器提升泛化。
- Bagging：并行训练、样本有放回采样、以降低方差为主（如随机森林）。
- Boosting：串行训练、调整样本权重、以降低偏差为主（如AdaBoost、XGBoost）。
- 对比两者对异常值的敏感性、训练效率、最终模型复杂度。
- 结合AIGC场景说明：预处理阶段常用Bagging做特征选择，Boosting做排序。
- 简短示例回答： Bagging通过随机采样和平均降低方差，每个弱学习器独立训练，适合高方差模型（如深度决策树）。Boosting通过加权组合降低偏差，逐步修正前一轮错误，适合弱学习器（如浅层树）。典型代表：随机森林 vs XGBoost。
- 可能追问：
- 为什么Boosting容易过拟合？如何控制？早停、学习率、子采样。
- 随机森林的特征重要性是如何计算的？基尼增益或置换检验。
- 在分布式场景下Bagging和Boosting谁更适合？为什么？
- 避坑提醒： 不要混淆Bagging与随机森林的关系（随机森林是Bagging+随机特征）；注意Boosting中的学习率不是一个超参数，而是缩放步长；避免回答时仅列举算法名称而不解释原理。
📊 线性模型 vs 树模型 vs 集成学习 核心考点对比表
| 维度 | 线性模型 | 树模型（单棵） | 集成学习 |
|---|---|---|---|
| 假设 | 特征与目标线性关系 | 空间划分 | 弱学习器互补 |
| 拟合能力 | 弱（需特征工程） | 强（易过拟合） | 强且稳健 |
| 可解释性 | 高（权重含义） | 高（规则路径） | 中等（可用SHAP） |
| 正则化方案 | L1/L2/弹性网络 | 剪枝/深度限制 | 学习率/早停/降采样 |
| AIGC适用场景 | Embedding层、评分卡 | 特征重要性分析 | 排序模型、异常检测 |
💡 复习建议： 面试中60%的追问会围绕“为什么”而非“是什么”。建议在准备时，用“公式→几何→直觉→场景”四步法深挖每个模型。本章三个问题覆盖了正则化、模型选择、集成策略三大基石，请务必烂熟于心。