第4章：深度学习进阶面试——CNN/RNN/Transformer核心原理、梯度消失、BatchNorm、公司考察侧重点
| 模块 | 核心原理 | 梯度问题 | BatchNorm作用 | 公司考察侧重点 |
|---|---|---|---|---|
| CNN | 局部连接+权值共享+池化 | 深层网络梯度衰减（残差解决） | 加速收敛，缓解内部协变量偏移 | 感受野计算、1x1卷积、轻量化设计 |
| RNN | 时序循环+隐状态传递 | 严重梯度消失/爆炸（LSTM/GRU缓解） | 在NLP中较少使用（依赖时序） | 梯度裁剪、双向RNN、长序列处理 |
| Transformer | 自注意力+多头+位置编码 | 层归一化（LN）替代BN | LayerNorm用于稳定训练 | 注意力机制实现、QKV计算、并行化 |
📝 面试问题1：请对比CNN、RNN、Transformer各自的核心原理，并说明它们如何处理梯度消失问题？
🎯 考察点： 对三种架构本质差异的理解；是否真正理解梯度消失的根源；能否从架构设计角度分析解决方案。
🧠 回答框架： 分别阐述三种网络的参数共享/循环/注意力机制 → 指出梯度消失根本原因（链式法则连乘） → 对应各自的缓解手段（CNN用残差、RNN用门控、Transformer用LayerNorm和残差+预训练）。
📖 示例回答： “CNN通过局部连接减少参数，但深层仍会梯度衰减，ResNet引入恒等映射解决；RNN因循环连乘导致梯度消失，LSTM/GRU通过遗忘门控制梯度流；Transformer完全依赖自注意力，梯度流更稳定，但仍需LayerNorm和残差连接辅助训练。”
❓ 可能追问： 为何RNN不用BatchNorm？Transformer的LayerNorm为什么放在残差之前还是之后？
📝 面试问题2：详细解释BatchNorm的原理，为什么CNN中常用BN而Transformer中常用LayerNorm？
🎯 考察点： 对BN数学过程（归一化→缩放平移）的掌握；训练/推理阶段的不同处理；对不同网络结构特性的理解。
🧠 回答框架： BN公式（计算均值和方差，γ,β） → 训练时使用batch统计量，推理时使用全局滑动平均 → CNN中feature map维度稳定适合BN → Transformer中序列长度可变，且针对做LN更适合。
📖 示例回答： “BN对小batch敏感，CNN卷积层输出形状固定，BN沿batch维度归一化稳定；Transformer输入为变长序列，LN对每个样本的hidden维度归一化，不依赖batch大小，更适合并行训练。”
❓ 可能追问： BN在RNN中为什么效果不佳？LN的参数γ/β与BN有何异同？dropout与BN的配合需要注意什么？
📝 面试问题3：在项目中使用过哪些缓解梯度消失/爆炸的策略？请结合真实经验说明。
🎯 考察点： 工程落地能力；是否真用过梯度裁剪、学习率调度、初始化方法等；能否定量分析效果。
🧠 回答框架： 描述具体场景（如训练深层CNN/Rnn时loss不下降） → 逐步排查（监控梯度范数、激活值分布） → 采取行动（如max_norm梯度裁剪、Xavier初始化、使用PreLU） → 效果量化（训练加速X%，收敛epoch减少X）。
📖 示例回答： “在训练12层ResNet分类任务时，前几层梯度接近0。我先用Kaiming初始化替换默认初始化，再加入梯度裁剪（max_norm=5），同时将BN放在激活之前。最终梯度范数从0.01升至0.3，训练速度提升40%。”
❓ 可能追问： 梯度裁剪的阈值如何设置？为什么不直接降低学习率？你如何判断是梯度消失还是梯度爆炸？
🚀 项目案例：基于Transformer的电商CTR预估模型优化
| 项目名称 | 多特征自注意力CTR模型（DIN + Transformer） |
| 业务背景 | 电商推荐场景，需融合用户行为序列和商品特征，传统DIN模型未考虑特征间长程依赖 |
| 规模指标 | 日活1000万+，模型参数量8000万，训练数据200亿样本，离线AUC提升1.2%，线上CTR+0.8% |
| 技术栈 | TensorFlow 2.x, GPU集群（8卡V100）, 特征工程：用户行为序列 + 商品属性embedding |
| 核心难点 | 1. 行为序列长度可变（平均30，最长200），导致梯度不稳定；2. 模型过拟合严重；3. inference延迟要求<30ms |
| 面试高频追问 | → 为何不用RNN而用Transformer？→ 如何处理变长序列（padding + mask）？→ BN还是LN？为什么？→ 如何压缩模型以满足延迟？→ 梯度裁剪值如何设定？ |
| 可迁移回答话术 | “我们采用Transformer编码用户行为，利用LayerNorm避免对batch size敏感，对序列长度超过150的直接截断并padding mask。通过梯度裁剪（max_norm=3.0）+学习率warmup稳定训练。模型剪枝和量化将延迟从45ms降至28ms，符合上线要求。” |