📚 课程目录第3章深度学习基础理论

第3章深度学习基础理论：激活函数、梯度消失/爆炸、损失函数选择、正则化原理

本章聚焦面试高频四大基础理论：激活函数选型、梯度消失/爆炸诊断、损失函数匹配、正则化策略。以下回答框架图可快速指导面试应答路径，三个问答卡片覆盖核心考点与避坑要点。

💡 复习提示：面试中常将四个主题串联提问，例如“在深层网络中如何避免梯度消失？请结合激活函数和正则化说明”。务必掌握各点之间的因果关联。

面试问题	请比较 Sigmoid、Tanh、ReLU、Leaky ReLU 的优缺点，并说明在实际项目中如何选择激活函数？
面试官考察点	是否理解不同函数的输出范围、梯度特性、计算效率；是否具备根据任务（分类/回归/稀疏性）做选择的能力。
回答框架	① 分类对比输出范围、梯度饱和性、零中心性；② 指出 ReLU 稀疏性及死亡问题；③ 针对具体场景（如图像分类常用 ReLU / 序列模型常用 Tanh）给出推荐。
简短示例回答	Sigmoid 输出 (0,1) 但易梯度消失；Tanh 零中心且饱和；ReLU 非饱和但负区间死亡；Leaky ReLU 引入小斜率缓解死亡。图像分类我首选 ReLU，若死亡严重改用 Leaky ReLU；回归问题输出层用线性激活。
可能追问	Swish 和 GELU 相比 ReLU 优势？激活函数对梯度流的影响？为什么 RNN 中常使用 Tanh？
避坑提醒	❌ 不要只说“ReLU 最好”，需要结合网络深度和任务说明；❌ 避免混淆“梯度消失”与“死亡 ReLU”的成因。

📊 常规激活函数特性速查表

面试问题	深度网络中梯度消失和梯度爆炸的成因是什么？列出至少三种解决方案并说明原理。
面试官考察点	是否理解反向传播中链式法则导致的梯度累积效应；是否知晓现代网络（ResNet、BN）背后的思想。
回答框架	① 成因：链式法则 → 多个小于1（或大于1）的梯度相乘；② 方案：初始化（Xavier/He）、激活函数（非饱和）、BN、残差连接、梯度裁剪。
简短示例回答	梯度消失因多个小于1的导数连乘，爆炸则相反。我常用 He 初始化 + BN + ReLU 解决消失，梯度裁剪控制爆炸。ResNet 的跳跃连接可让梯度直通，极大缓解深层退化。
可能追问	BN 为什么同时缓解消失和爆炸？梯度裁剪的阈值如何设置？LSTM 如何缓解梯度消失？
避坑提醒	❌ 不要将“梯度消失”单纯归因于激活函数，需强调链式法则和网络深度；❌ 混淆 BN 与 dropout 的作用。

⚠️ 高频易混点：梯度消失 ≠ 死亡 ReLU。梯度消失是整体梯度接近0，死亡 ReLU 是某个神经元永久输出0，二者解决策略不同（死亡 ReLU 可用 Leaky ReLU / PReLU 或调整学习率）。

面试问题	针对二分类、多分类、回归任务分别推荐哪种损失函数？并说明 L1、L2 正则化和 Dropout 的区别及适用场景。
面试官考察点	是否清晰匹配任务与损失函数；是否理解正则化对权重和模型复杂度的影响；能否结合过拟合与泛化。
回答框架	① 损失：二分类 → BCEWithLogits；多分类 → CrossEntropy；回归 → MSE / MAE（看异常值）；② 正则：L1 稀疏、L2 平滑；Dropout 随机失活；③ 搭配使用防止过拟合。
简短示例回答	二分类用 BCE，多分类用 CrossEntropy（自带 softmax），回归视异常值选 MSE（敏感）或 MAE（鲁棒）。正则方面：L1 做特征选择，L2 防过拟合，Dropout 在大模型或全连接层效果好，常与 L2 联用。
可能追问	Focal Loss 用在什么场景？Label Smoothing 原理？Dropout 在推理时为何要乘以 keep_prob？
避坑提醒	❌ 不要认为 Dropout 和 BN 不能共存（实际可，注意顺序）；❌ 混淆 L1 正则与 L1 Loss（值损失）的概念。

📊 常用正则化方法对比

方法	公式 / 操作	特点	适用场景
L1 正则	λΣ\|w\|	产生稀疏权重（特征选择）	高维稀疏特征、解释性重要
L2 正则	λΣw²	权重平滑，防过拟合	通用，几乎所有网络
Dropout	训练随机失活神经元	集成学习效果，降低共适应性	全连接层大模型、CNN
Batch Normalization	归一化 + 缩放平移	稳定训练，加速收敛，轻微正则	CNN、深层网络

💡 面试加分话术：描述损失函数时可提到“数值稳定性”——例如 BCEWithLogitsLoss 比手动 Sigmoid + BCE 更稳定；描述正则化时可结合“奥卡姆剃刀”解释 L2 倾向于小权重。

第3章 深度学习基础理论：激活函数、梯度消失/爆炸、损失函数选择、正则化原理