深度学习基础：高频问题、回答框架、公司侧重点
深度学习基础是机器学习算法研究员面试中的必考模块。面试官通过该章节考察你对神经网络核心机制（前向/反向传播、梯度问题、归一化、激活函数等）的理解深度，以及能否将理论应用于实际调参和模型调试中。不同公司侧重点：字节/快手侧重工程实战（BN层实现细节、训练稳定性）；阿里/腾讯侧重模型加速（梯度剪枝、混合精度）；华为/旷视侧重底层数学推导（反向传播链式法则、雅克比矩阵）。掌握结构化回答框架和避坑要点可快速通过该轮考核。
深度学习基础知识点一览表
| 知识点 | 核心公式/概念 | 面试常见问题 | 公司侧重点 |
|---|---|---|---|
| 前向传播 | 权重×输入+偏置 → 激活函数 | 推导多层神经网络前向计算过程 | 字节：要求手写伪代码 |
| 反向传播 | 链式法则梯度累积 | 为什么需反向传播？如何计算梯度？ | 阿里：考察矩阵求导能力 |
| 梯度消失/爆炸 | Sigmoid导数≤0.25，指数型增长 | 原因、后果、解决方案 | 华为：结合LSTM或ResNet分析 |
| Batch Normalization | γ·(x-μ)/σ + β | 训练时 μ/σ 更新方式？推理时使用什么？ | 美团：常问BN+Dropout联合使用问题 |
| 激活函数 | ReLU: max(0,x); Sigmoid: 1/(1+e-x) | ReLU的缺点？有什么改进？ | 字节：LeakyReLU/Swish 对比 |
| 优化器 | SGD+Momentum; Adam; AdamW | Adam为什么不收敛？如何调整学习率？ | 腾讯：cosine学习率衰减实战 |
问题1：请详细解释反向传播算法，并推导一个简单两层的全连接网络
面试官考察点： 对链式法则的理解深度、矩阵求导基本功、能否将理论转化为代码逻辑。
回答框架： ① 先定义网络结构和损失函数（MSE或交叉熵）；② 从输出层开始计算误差对权重的偏导；③ 逐层向前传播梯度；④ 最后给出参数更新公式。重点展示对雅克比矩阵和张量传播的理解。
简短示例回答： “以一个两层网络为例：输入x，隐藏层h = σ(W₁x+b₁)，输出y = W₂h+b₂，损失L = ½||y-t||²。反向传播时，先求∂L/∂y = y-t，再计算∂L/∂W₂ = (y-t)hᵀ，∂L/∂h = W₂ᵀ(y-t)⊙σ'(h)，最后∂L/∂W₁ = (∂L/∂h)xᵀ。利用链式法则循环迭代，数值梯度验证正确。”
可能追问： “如果把MSE换成交叉熵，反向传播公式怎么变？”“如何用代码实现反向传播（需要写出循环）？”
问题2：梯度消失和梯度爆炸的原因是什么？有哪些解决方法？
面试官考察点： 是否理解深层网络训练困难的本质，以及能否系统性地列举多种解法。
回答框架： ① 原因：链式法则中连乘导致梯度指数级衰减/放大（Sigmoid导数最大0.25，ReLU未修剪时可能爆炸）；② 解决方案分类：激活函数（ReLU、Swish）、归一化（BN、LN）、网络结构（残差连接、LSTM门控）、梯度技巧（梯度剪枝、权重初始化、梯度累积）等。③ 举例说明每种方案的原理。
简短示例回答： “梯度消失常见于sigmoid/tanh网络，导数连乘导致梯度趋近0；爆炸常见于初始化过大或无约束ReLU。解决方法：使用ReLU族激活函数；采用He初始化；添加Batch Normalization；引入残差结构；对梯度进行L2范数裁剪到阈值C。推荐组合：He+BN+ReLU+残差，可稳定训练50层以上网络。”
可能追问： “Batch Normalization为什么能缓解梯度消失？”“梯度剪枝的阈值怎么设定？”
问题3：Batch Normalization的原理是什么？训练和推理阶段有什么区别？
面试官考察点： 对BN数学流程的掌握、对训练/推理行为差异的理解、能否说出BN与Dropout/其他归一化的区别。
回答框架： ① 公式：y = γ*(x-μB)/√(σB²+ε) + β，其中μB和σB²是本batch的均值和方差；② 训练时每个batch更新running_mean和running_var；推理时使用全局的running_mean和running_var，因为单样本无法计算统计量；③ 作用：缓解ICS、允许更大学习率、有正则效果；④ 缺点：对batch size敏感，序列模型不适用（可用LayerNorm）。
简短示例回答： “训练时对每个mini-batch计算μ和σ进行归一化，并学习仿射参数γ、β，同时滑动更新全局均值和方差。推理时直接用全局统计量，且固定γ、β。如果batch size过小（≤8），BN效果变差，此时可改用GroupNorm或LayerNorm。注意BN在卷积层是对每个通道独立计算，在全连接层是对每个神经元计算。”
可能追问： “BN+Dropout一起用要注意什么？”“为什么BN可以降低对初始化的依赖？”
项目案例：基于ResNet的工业缺陷检测系统
| 项目名称 | 基于ResNet-50的工业产品表面缺陷实时检测系统 |
| 业务背景 | 某手机代工厂产线需要替代人工目检，检测金属外壳划痕、凹陷、氧化等5类缺陷，漏检率要求<0.1% |
| 规模指标 | 训练集10万张（含缺陷样本1.5万张），测试集2万张；线上单张推理<10ms；模型大小<200MB |
| 技术栈 | PyTorch 1.9 + ResNet-50 + Focal Loss + 混合精度训练 + TensorRT部署 |
| 核心难点 | 1）缺陷样本占比仅15%，类别极度不平衡；2）缺陷区域小（可能只占图像5%）；3）产线光照变化大，泛化要求高 |
| 面试高频追问 | ① 为什么选ResNet而不是EfficientNet/DenseNet？② Focal Loss的超参数γ、α怎么调的？③ 有没有试过Anchor-Free检测方法？④ 训练时如何处理脏数据（标注噪声）？ |
| 可迁移回答话术 | “本项目的核心挑战是小样本和类别不平衡。我采用两层策略：数据层用Copy-Paste数据增强和背景替换，将缺陷样本扩增至5万张；模型层用Focal Loss（γ=2, α=0.75）抑制易分样本梯度。同时利用ImageNet预训练的ResNet-50作为backbone，只微调最后两层，避免过拟合。最终F1从0.67提升至0.91。” （注意：此段可直接用于“如何处理小样本/不平衡”类问题） |