📚 课程目录第2章机器学习基础理论高频问答

机器学习基础理论高频问答

  🎯 本章定位：巩固面试中最常考的机器学习基础问题，掌握“原理+损失函数+优化器”三件套的拆解逻辑。通过3个核心问答卡片+1个真实项目模板，帮你建立从理论到实战的完整表达链路。

考察点	是否理解广义线性模型、Sigmoid 函数的概率解释、以及“回归”一词的历史来源
回答框架	核心：线性回归 + Sigmoid 映射到 [0,1] 损失：交叉熵（对数损失）优化：梯度下降 / SGD 命名：本质是对“对数几率”做线性回归
示例回答	逻辑回归对线性输出施加 Sigmoid，得到类别概率。损失采用交叉熵；优化用梯度下降。因建模的是对数几率（log-odds）与特征的线性关系，本质仍是“回归”，但输出通过概率阈值做分类。
可能追问	① LR 是否要求特征独立？② 为什么用交叉熵而不用 MSE？③ 如何处理多分类？
避坑提醒	❌ 不要只说“Sigmoid 函数把值压到0~1”，必须提到“对数几率”的线性模型本质。

考察点	Hinge Loss 的原理、间隔最大化思想、与交叉熵的数学差异及对异常值的鲁棒性
回答框架	SVM 损失：Hinge Loss = max(0, 1 - y·f(x)) 逻辑回归：交叉熵 = -[y·log(p) + (1-y)·log(1-p)] 本质：SVM 关注“分对且远离边界”；LR 关注概率校准异常值：Hinge Loss 对已正确分类的点不敏感，LR 受所有点影响
示例回答	SVM 使用 Hinge Loss：只惩罚间隔内的错误点，追求最大间隔。LR 用交叉熵，所有样本参与梯度，输出具有概率意义。前者更注重决策边界，后者更注重概率分布。
可能追问	① SVM 加入核后损失函数变吗？② 如何为 SVM 选择 C 参数？③ 什么场景 SVM 优于 LR？
避坑提醒	❌ 不要混淆 SVM 原始目标函数（带松弛变量的合页损失 + L2正则）与感知机损失。

考察点	不同优化器的更新规则、自适应学习率思路、适用场景（CV/NLP/推荐）、调参经验
回答框架	SGD：直接梯度下降，可能陷入鞍点，需手动调 LR Momentum：累积历史梯度方向，加速收敛，缓解震荡 Adam：自适应学习率 + Momentum，适合大多数任务选择口诀：小数据→SGD；大模型→Adam；需要精调→SGD + warmup
示例回答	SGD 简单但易卡在鞍点；Momentum 用动量项加速逃离平坦区；Adam 融合一阶/二阶动量，自动调整 LR，收敛快，但可能泛化略差。我会根据任务优先选 Adam，若需极致精度再切 SGD 配合 cosine 衰减。
可能追问	① Adam 的 β₁, β₂ 默认值及意义？② 为什么 Adam 有时泛化不如 SGD？③ 你用过 Nadam？
避坑提醒	❌ 不要只说“Adam 更好”，要给出决策依据（数据量、模型复杂度、收敛要求）。

业务背景	某电商首页推荐广告点击率预估，特征维度亿级，实时性要求高，需在线学习框架。
规模指标	日均曝光 5 亿次，模型参数量 2 亿，训练样本 20 亿/天，AUC 基线 0.76，上线后提升至 0.81。
技术栈	Spark（离线特征）、Paimon（实时特征）、TensorFlow + FTRL 优化器、SageMaker 部署、A/B 实验平台。
核心难点	① 特征稀疏导致收敛慢；② 实时流量倾斜需在线调参；③ 模型单调性约束（广告价格与点击概率正相关）。
面试高频追问	① FTRL 与 Adam 在稀疏场景的差异？② 如何处理特征交叉？③ 单调性约束如何实现？④ 在线学习如何避免模型震荡？
可迁移回答话术	“面对亿级稀疏特征，我选用 FTRL 优化器，它基于 L1 正则产生稀疏解，同时利用累积梯度自适应学习率，比 Adam 的 L2 正则更适合生产环境。对于单调性，我们在损失函数中加入对系数符号的约束，确保价格越高点击概率不下降。”

💡 项目强化建议：准备此类项目时，务必能手写 FTRL 的更新公式（proximal gradient），并说出与 SGD 的梯度更新差异。

⚠️ 本章总结：面试官考查机器学习理论时，80% 的问题会从“模型原理→损失函数→优化器选择→适用场景”四个维度展开。请务必按照“回答框架”中的三层结构（数学公式 + 损失 + 优化）组织语言，并在项目案例中展示落地细节。