第4章 深度学习基础与CNN架构：LeNet、AlexNet、VGG、ResNet、EfficientNet
CNN是计算机视觉的基石。面试中高频考察你对经典架构的设计动机、核心创新和演进脉络的理解。重点掌握：LeNet（手写识别）、AlexNet（GPU加速+ReLU+Dropout）、VGG（小卷积堆叠）、ResNet（残差连接解决退化）、EfficientNet（复合缩放）。每个网络要能说清：解决了什么问题、用了什么技巧、参数与计算量如何。
核心指标速记： LeNet ~0.06M参数，AlexNet ~60M，VGG16 ~138M，ResNet-50 ~25.5M，EfficientNet-B0 ~5.3M（但精度接近ResNet-50）。面试常问：为什么VGG比AlexNet参数更多？为什么ResNet用更少参数达到更高精度？
📌 面试问答卡片 #1：LeNet-5的结构与贡献
面试问题：请简述LeNet-5的网络结构及其在计算机视觉发展中的地位。
面试官考察点：
- 是否了解CNN奠基之作的设计思路（卷积+下采样+全连接）
- 能否清晰描述“卷积层-池化层-全连接层”的标准组合
- 是否知道LeNet-5是小网络（约6万参数），但确立了CNN基本范式
回答框架：
- 一句话定位：LeNet-5（1998年，Yann LeCun）是第一个成功应用于手写数字识别的CNN。
- 结构描述：输入32×32灰度图 → C1卷积（6个5×5）→ S2平均池化（2×2）→ C3卷积（16个5×5）→ S4池化 → C5卷积（120）→ F6全连接（84）→ 输出10类。
- 核心创新：首次将“卷积+池化+下采样”组合固定下来；使用权重共享减少参数。
- 地位：证明CNN在图像识别上的有效性，启发了后续所有CNN架构。
示例回答（60~80字）：
LeNet-5是CNN的奠基之作，由LeCun提出用于手写数字识别。它采用卷积-池化-全连接的标准组合，共5层（2卷积+2池化+1全连接），参数约6万。虽结构简单，但验证了局部连接和权重共享的有效性，奠定了后续CNN设计范式。
可能追问：
- LeNet为什么最后用全连接层而非全局平均池化？
- 你觉得现在LeNet的精度能到多少？为什么被淘汰？
- LeNet中的“5”代表什么？
避坑提醒：不要只说“简单”就结束，要强调它的历史意义。另外注意LeNet输入是32×32不是224×224；池化层使用平均池化，不是最大池化。
📌 面试问答卡片 #2：ResNet残差连接原理
面试问题：ResNet的核心思想是什么？为什么残差连接能解决网络退化问题？
面试官考察点：
- 是否理解“退化”不是过拟合，而是深层网络优化困难
- 能否用数学或直觉解释恒等映射的作用
- 是否知道ResNet的变体（Bottleneck设计）
回答框架：
- 核心思想：引入跨层的恒等捷径连接（shortcut），让网络拟合残差 F(x)=H(x)-x，而非直接拟合 H(x)。
- 退化原因：深层网络梯度消失/爆炸，且难以学习恒等映射；残差连接让信息直接回传，缓解梯度消失。
- 数学上：若某层最优是恒等，残差块只需将权重逼近0，比拟合恒等映射容易得多。
- 实际效果：训练更快的收敛、更低的训练误差；可堆叠超过100层仍不掉点。
示例回答（80~100字）：
ResNet通过残差连接（shortcut）让网络学习F(x)=H(x)-x而非直接学习H(x)。当最优映射接近恒等时，残差块只需将权重逼近0，显著降低了学习难度。这解决了深层网络的退化问题——梯度可通过捷径直接回传，使得152层网络仍能有效训练，且精度显著优于VGG。
可能追问：
- pre-activation ResNet和原版有什么区别？
- 残差连接为什么能缓解梯度消失？画出反向传播路径。
- ResNet-50中的Bottleneck设计为什么能减少参数？
避坑提醒：不要只背定义，最好结合梯度流解释。另外注意“退化”不是“过拟合”，很多人混淆。还有ResNet-50的Bottleneck是1×1→3×3→1×1，参数更少但精度几乎不变。
📌 面试问答卡片 #3：EfficientNet复合缩放
面试问题：EfficientNet的“复合缩放”是什么意思？为什么比单独缩放某一维度更优？
面试官考察点：
- 是否理解网络规模的三维度：深度、宽度、分辨率
- 能否说出NAS找到的复合系数（α=1.2, β=1.1, γ=1.15）及含义
- 是否知道EfficientNet-B0的基准网络（MBConv + SE模块）
回答框架：
- 背景：传统方法单独增加深度/宽度/分辨率，效果有限。
- 复合缩放：同时按固定比例（由NAS搜索得到）调整三个维度，公式：depth=α^φ, width=β^φ, resolution=γ^φ，且α·β²·γ²≈2。
- 直觉：更大的图像需要更深的网络和更宽的通道来捕获更多细节；三者相互配合可达最优。
- 结果：EfficientNet-B7在ImageNet上以更少参数和FLOPs达到SOTA精度。
示例回答（80~100字）：
EfficientNet提出复合缩放方法，通过NAS搜索出最优缩放系数（α=1.2, β=1.1, γ=1.15），同时增加网络深度、宽度和输入分辨率。相比单独缩放，复合缩放能更好地平衡三者，使模型在相同计算量下获得更高精度，例如B7用37M参数达到84.4% top-1准确率。
可能追问：
- 为什么约束α·β²·γ²≈2？
- EfficientNet的基网络（B0）使用了什么基础结构？
- 复合缩放与EfficientDet的关系？
避坑提醒：不要只说“同时增加”，要解释比例系数来源（NAS搜索）。另外注意缩放的是基网络，而基网络本身使用了深度可分离卷积和SE注意力模块，复合缩放不改变基础算子。
🚀 项目案例：基于ResNet50的工业缺陷检测系统
| 项目名称 | 工业产品表面缺陷实时检测系统 |
|---|---|
| 业务背景 | 某3C电子厂产线上需要检测手机外壳划痕/凹陷，人工目检效率低（每人每小时检200件，漏检率5%）。要求自动化检测速度≥500件/分钟，漏检率≤1%。 |
| 规模指标 | 训练集：12万张标注图像（6类缺陷+正常）；测试集：2万张。模型参数量25.5M；推理速度在NVIDIA Jetson TX2上达到80ms/张（预处理+推理）。部署后产线实际吞吐量520件/分钟，漏检率0.7%，误检率2.1%。 |
| 技术栈 | PyTorch 1.10，ResNet-50（预训练+微调），数据增强（RandomCrop，ColorJitter，CutMix），Focal Loss缓解类别不均衡，TensorRT部署，nms后处理。 |
| 核心难点 |
|
✅ 面试高频追问（5个必考方向）：
- 为什么选ResNet-50而不是ResNet-101？ 答：推理速度要求80ms内，ResNet-50在TX2上刚好达标，101层超出功耗预算；且精度提升不到0.5%，权衡后选50。
- Focal Loss的α和γ怎么调的？ 答：γ设为2，α根据逆类别频率设置，正常类α=0.2，缺陷类α=0.8。
- CutMix和MixUp哪个更适合工业缺陷？ 答：CutMix可保留局部纹理信息，便于缺陷定位，工业上更推荐CutMix。
- 量化后精度下降如何补偿？ 答：使用量化感知训练（QAT），在校准集上调整clip范围，保持精度下降<0.5%。
- 如果漏检率要降到0.5%，你打算怎么做？ 答：可尝试集成多模型蒸馏，或引入注意力模块（如CBAM）提升小缺陷响应。
💡 可迁移回答话术（面试万能句式）：
“在工业场景中，速度与精度的trade-off 是第一位的。我们通过Lightweight架构+量化部署保证实时性，同时用数据增强+损失函数优化解决类别不均衡。这种策略可迁移到其他资源受限的CV任务中，比如移动端分类、嵌入式检测。”
“在工业场景中，速度与精度的trade-off 是第一位的。我们通过Lightweight架构+量化部署保证实时性，同时用数据增强+损失函数优化解决类别不均衡。这种策略可迁移到其他资源受限的CV任务中，比如移动端分类、嵌入式检测。”
⚠️ 本章避坑总结：
- LeNet输入尺寸32×32，不是224，不要搞混。
- VGG参数多是因为全连接层（约120M），3×3卷积堆叠本身参数可控。
- ResNet退化不是过拟合，是优化困难；残差block的BN在ReLU之前还是之后（原版在前，pre-activation在通道加权后）。
- EfficientNet复合缩放公式中α·β²·γ²≈2，不是α+β+γ=2。
📚 本章推荐记忆方式：
制作一张“CNN演进表”：
记住每个网络的topp-1准确率用来做横向对比，但注意是单模型224×224输入的结果。
制作一张“CNN演进表”：
| 架构 | 年份 | 核心创新 | 参数（约） | Top-1 (ImageNet) |
|---|---|---|---|---|
| LeNet-5 | 1998 | Conv+Pool+FC范式 | 60K | — |
| AlexNet | 2012 | ReLU, Dropout, GPU | 60M | 63.3% |
| VGG16 | 2014 | 小卷积堆叠，深 | 138M | 74.4% |
| ResNet-50 | 2015 | 残差连接 | 25.5M | 76.0% |
| EfficientNet-B0 | 2019 | 复合缩放 | 5.3M | 77.1% |