第3章 深度学习基础与算法原理：高频理论问题、推导能力、面试官考察点

面试官考察点：

• 能否清晰描述链式法则在多层网络中的递归应用；
• 推导过程是否自然写出 δ（误差项）的递推公式；
• 对梯度消失/爆炸的成因是否有直观理解。

回答框架：

1. 直观解释：反向传播就是利用链式法则，从输出层逐层计算每个权重的偏导数。
2. 定义符号：记损失 L，激活函数 σ，权重 W，第 l 层输出 a_l = σ(z_l)，z_l = W_l · a_{l-1} + b_l。
3. 推导输出层 δ_L = ∇a_L ⊙ σ'(z_L)，然后 δ_l = (W_{l+1}^T · δ_{l+1}) ⊙ σ'(z_l)。
4. 最后权重梯度 ∂L/∂W_l = δ_l · a_{l-1}^T。
5. 点出梯度消失：如果 σ'(z) < 1 且层数深，连乘导致梯度趋近0。

简短示例回答（约80字）：

可能追问：

• 如何用计算图表示反向传播？反向传播与正向传播计算量对比？
• 局部敏感哈希能否加速反向传播？
• 如果激活函数换成 ReLU，反向传播公式有何变化？

面试官考察点：

• 是否理解 BN 在训练和推理阶段的区别；
• 能否推导出 BN 层反向传播的梯度公式；
• 对内部协变量偏移（Internal Covariate Shift）的理解深度。

回答框架：

1. 本质：对每个 mini-batch 的数据做归一化（减均值除方差），再学习缩放 γ 和偏移 β。
2. 前向：μ_B = 1/m ∑x_i, σ²_B = 1/m ∑(x_i-μ_B)², x̂_i = (x_i-μ_B)/√(σ²_B+ε), y_i = γ x̂_i + β。
3. 反向：利用链式法则计算 ∂L/∂γ, ∂L/∂β, 以及 ∂L/∂x_i（需要考虑到 μ_B 和 σ²_B 对每个 x_i 的依赖）。
4. 为什么有效：减轻梯度消失/爆炸，允许更大学习率，有轻微正则化效果。
5. 训练/推理区别：推理时使用全局滑动平均的 μ 和 σ²，而非 batch 统计量。

简短示例回答（约100字）：

可能追问：

• BN 在 RNN 中为何不常用？Layer Normalization 与 BN 对比？
• BN 对 batch size 大小敏感吗？如何解决小batch size问题？
• BN 在推理时如何处理？为什么 inference 时不能使用 batch 统计量？

面试官考察点：

• 是否理解正则化项对损失函数几何形状的影响；
• 能否从凸优化或贝叶斯角度解释（如 L1 对应拉普拉斯先验）；
• 能否推导出带正则化的梯度更新公式。

回答框架：

1. 形式不同：L1 = λ∑|w|，L2 = (λ/2)∑w²。
2. 几何解释：L1 约束为菱形（L1-ball），L2 为圆，与损失函数等值线相切时，L1 切点常在坐标轴上 → w=0。
3. 优化角度：L1 的梯度为 sign(w)，导致权重在0附近“以恒定步长”衰减直到0；L2 梯度为 w，越接近0衰减越慢。
4. 贝叶斯视角：L1 对应拉普拉斯先验（峰值在0），L2 对应高斯先验。

简短示例回答（约90字）：

可能追问：

• L1 正则不可导点如何处理？（次梯度或近端梯度法）
• 弹性网（Elastic Net）结合 L1 和 L2 的场景？
• 在深度网络中，L1 正则为何不如 L2（权重衰减）常用？