第3章 深度学习基础理论面试：Transformer、CNN、RNN 核心机制与区别
Transformer、CNN、RNN 是深度学习的三大核心架构，面试中几乎100% 会被问到对比类问题。面试官通常从计算范式、感受野、位置建模、长距依赖四个维度考察候选人对模型本质的理解深度。掌握三者的核心机制与差异，是构建深度学习知识体系的基石，也是回答所有进阶问题的出发点。
| 对比维度 | Transformer | CNN | RNN |
|---|---|---|---|
| 计算范式 | 完全并行 | 完全并行 | 串行 |
| 感受野 | 全局（自注意力） | 局部（卷积核大小） | 全局（循环步进，有衰减） |
| 位置建模 | 位置编码（显式） | 层级堆叠 / 池化（隐式） | 时序步进（天然编码） |
| 长距依赖 | ✅ 优势机制 | ❌ 需堆叠层数扩展 | ⚠️ 梯度衰减 / 爆炸 |
| 核心操作 | Self-Attention | Convolution | Recurrent |
| 代表应用 | BERT / / ViT | ResNet / YOLO / TextCNN | LSTM / GRU / Seq2Seq |
🎯 面试问题 1：请系统对比 Transformer、CNN、RNN 三者的核心机制与本质区别。
📌 面试官考察点：
- 是否理解三种模型的核心机制本质差异，而非停留在表面定义
- 能否从计算范式、感受野、位置建模等多维度系统对比，展现结构化思维
- 是否具备将抽象概念组织成清晰表达框架的能力
📐 回答框架：
- 计算范式：Transformer 完全并行 vs CNN 完全并行 vs RNN 串行
- 感受野：Transformer 全局 vs CNN 局部需堆叠 vs RNN 全局但有衰减
- 位置建模：Transformer 显式位置编码 vs CNN 层级堆叠隐式建模 vs RNN 时序步进天然编码
- 长距依赖：Transformer 优势 / CNN 需堆叠层数 / RNN 梯度衰减
- 总结：三者本质差异在于信息交互路径和计算范式的不同选择
💡 示例回答：“从计算范式看，Transformer 和 CNN 支持并行，RNN 必须串行；感受野上，CNN 局部需堆叠扩展，Transformer 通过自注意力实现全局交互，RNN 全局但易梯度衰减；位置建模上，CNN 靠层级堆叠，Transformer 用位置编码，RNN 用步进编码。本质差异在于信息传递路径和并行化能力。”
🔍 可能追问：“CNN 如何通过空洞卷积扩展感受野？” “RNN 的梯度问题在 LSTM 中如何缓解？” “Transformer 的计算复杂度如何优化？”
⚠️ 避坑提醒：❌ 常见错误：只罗列三者的定义而不做维度对比。✅ 正确做法：从 2~3 个核心维度平行对比，展现结构化思维。
🎯 面试问题 2：Transformer 的自注意力机制如何解决长距离依赖问题？与 RNN 的循环结构有何本质区别？
📌 面试官考察点：
- 是否深入理解自注意力的数学原理与信息交互路径
- 能否从信息传递路径长度和梯度传播两个维度对比两种机制
- 是否理解显式全局建模与隐式时序传递的本质差异
📐 回答框架：
- 自注意力机制：通过 QKV 计算所有位置间注意力权重，信息交互路径长度为 O(1)
- RNN 循环结构：通过隐状态逐步传递，信息路径长度与序列长度成正比 O(n)
- 梯度传播：Transformer 梯度直接回传；RNN 存在链式梯度消失 / 爆炸
- 本质区别：Transformer 显式全局建模，RNN 隐式时序传递
💡 示例回答：“自注意力通过 QKV 矩阵计算任意两位置间的注意力权重，实现 O(1) 路径长度的直接信息交互，从根本上解决长距依赖。RNN 通过循环状态逐步传递，路径长度随序列增长，易出现梯度消失。本质区别在于 Transformer 是显式全局建模，RNN 是隐式时序传递。”
🔍 可能追问：“为什么说 Transformer 的路径长度是 O(1)？” “长距依赖问题在图像任务中如何体现？” “如果 RNN 使用 LSTM 是否可以完全解决梯度问题？”
⚠️ 避坑提醒：❌ 常见错误：认为 RNN 和 Transformer 解决长距依赖的方式本质相同。✅ 正确做法：强调显式全局建模与隐式时序传递的根本差异。
🎯 面试问题 3：CNN 在序列建模任务（如 TextCNN）中为什么能取得不错效果？它与 Transformer 的归纳偏置有何不同？
📌 面试官考察点：
- 是否理解归纳偏置的概念及其对模型设计的影响
- 能否客观分析不同模型的适用边界与优劣
- 是否具备跨模型对比的抽象思维能力
📐 回答框架：
- CNN 序列建模原理：多个卷积核捕捉局部 n-gram 特征，叠加层数扩大感受野
- 归纳偏置对比：CNN 强局部偏置 + 平移不变性；Transformer 弱偏置，依赖数据学习全局交互
- 适用边界：CNN 高效但长距建模有限；Transformer 全局但计算成本高
💡 示例回答：“CNN 通过多卷积核捕捉局部 n-gram 特征，叠加层数可扩展感受野，在文本分类等局部语义任务中高效且有效。本质区别在归纳偏置：CNN 强局部偏置和平移不变性，Transformer 弱偏置依赖数据学习全局交互。CNN 更高效但长距建模能力有限。”
🔍 可能追问：“归纳偏置对模型泛化能力有何影响？” “CNN 和 Transformer 的混合架构有哪些典型设计？” “TextCNN 的最大序列长度通常受什么限制？”
⚠️ 避坑提醒：❌ 常见错误：认为 CNN 不适合序列建模。✅ 正确做法：承认 CNN 在局部特征提取上的优势，同时客观指出其在长距依赖上的局限。