3、深度学习模型基础：卷积神经网络（CNN）、Transformer、常见模型（ResNet、MobileNet、BERT）及其计算复杂度分析

在边缘AI模型压缩与剪枝的工程实践中，我们面对的首要问题不是“如何压缩”，而是“压缩什么”。模型压缩的本质是在给定的计算资源（FLOPs、内存带宽、延迟）与精度约束下，对网络结构中的冗余参数与冗余计算进行系统性剔除。因此，深入理解主流深度学习模型（CNN、Transformer）的架构设计逻辑、计算热点分布以及复杂度度量方法，是后续实施结构化剪枝、通道剪枝、知识蒸馏与量化部署的前提。本章将围绕卷积神经网络与Transformer两大范式，剖析ResNet、MobileNet、BERT的典型结构，并建立从理论FLOPs到硬件实际延迟的复杂度分析框架。

模型复杂度分析框架：从理论FLOPs到硬件延迟 CNN 家族 ResNet / MobileNet Transformer 家族 BERT / ViT / 混合/轻量 MobileViT / EdgeFormer 核心算子 Conv2d / Depthwise BN / ReLU / Pooling GAP / FC 核心算子 Q/K/V Linear Softmax / MatMul FFN / LayerNorm 混合算子 Conv + Attention Mixing Channel Shuffle 复杂度度量维度 FLOPs / MACs 参数量 Params 内存占用（激活值） 硬件延迟 / 能耗 带宽需求 压缩策略映射 结构化剪枝 → 通道/头剪枝 → 知识蒸馏 → 量化 → 低秩分解

上图展示了从模型家族到压缩策略的完整分析链路。在实际剪枝项目中，我们首先需要识别目标模型的核心算子分布，然后针对不同算子选择复杂度度量指标，最后才能确定剪枝的粒度与位置。下面逐一展开。

3.1 卷积神经网络（CNN）的计算热点与复杂度模型

3.1.1 核心原理：卷积算子的FLOPs构成

CNN的计算主体是二维卷积操作。对于输入特征图 \(X \in \mathbb{R}^{C_{in} \times H \times W}\)，卷积核 \(W \in \mathbb{R}^{C_{out} \times C_{in} \times K \times K}\)，输出特征图 \(Y \in \mathbb{R}^{C_{out} \times H' \times W'}\)，其乘加操作数（MACs）为：

MACs = C_out × C_in × K × K × H' × W'

FLOPs通常计为MACs的2倍（一次乘法和一次加法）。但这里存在一个关键细节：FLOPs并不等于硬件延迟。在边缘设备上，内存访问（DRAM traffic）往往比计算更耗时。例如，MobileNetV2的深度可分离卷积虽然将FLOPs降低了8-9倍，但其内存访问频率反而可能增加，因为逐通道卷积（Depthwise Conv）的访存密度较低。

3.1.2 判断方法：FLOPs与参数量、激活值的三维评估

在评估一个CNN模型是否适合边缘部署时，不能只看FLOPs。我们建议使用以下三维度评估矩阵：

维度计算公式对剪枝的指导意义
参数量（Params）\(\sum C_{out} \times C_{in} \times K^2\)决定模型文件大小与内存占用，适合权重剪枝
计算量（FLOPs）\(2 \times C_{out} \times C_{in} \times K^2 \times H' \times W'\)决定推理延迟的理论上限，适合通道剪枝
峰值激活值（Activation）\(C_{out} \times H' \times W' \times 4\) bytes决定片上SRAM/缓存需求，影响内存带宽瓶颈

在剪枝实践中，我们通常以FLOPs作为主要优化目标，但必须同时监控激活值大小。例如，在ResNet-50中，第3阶段的激活值占络激活值的40%以上，若仅按FLOPs比例剪枝，可能导致内存瓶颈。

3.1.3 案例拆解：ResNet-50的剪枝热点定位

以ResNet-50为例，其包含49个卷积层和1个全连接层。我们统计各阶段的FLOPs分布：

Stage 1 (C2): 3.8 GFLOPs (占19%)
Stage 2 (C3): 7.6 GFLOPs (占38%)
Stage 3 (C4): 5.4 GFLOPs (占27%)
Stage 4 (C5): 3.2 GFLOPs (占16%)

从数据可见，C3阶段是计算热点。但若直接对C3的所有通道进行均匀剪枝，会破坏残差连接的维度匹配。因此，我们采用残差分支感知的通道剪枝策略：对每个残差块中的3×3卷积（主分支）进行独立剪枝，而1×1卷积（降维/升维层）的剪枝比例需与主分支保持一致，以保证shortcut连接维度对齐。实际项目中，我们对C3阶段的3×3卷积剪枝40%，1×1卷积剪枝20%，整体FLOPs降低约28%，Top-1精度损失控制在0.8%以内。

经验提醒：在剪枝ResNet时，务必先分析shortcut连接。若shortcut是恒等映射（identity），则主分支的通道数变化不影响shortcut；若shortcut是1×1卷积投影，则必须同步调整投影层的输出通道数。

3.1.4 常见误区：忽略内存访问成本（MAC）

许多初学者只关注FLOPs，导致剪枝后模型在真实硬件上延迟不降反升。例如，对MobileNetV2的逐通道卷积层进行剪枝时，虽然FLOPs减少了，但逐通道卷积的并行度低，在GPU上无法充分利用Tensor Core，导致实际加速比远低于理论值。正确的做法是：在剪枝前先使用profiler（如PyTorch Profiler、TensorRT Profiler）测量各层的实际耗时，找出延迟热点而非FLOPs热点。

3.2 Transformer与注意力机制的计算复杂度

3.2.1 核心原理：自注意力的二次复杂度

Transformer的核心是自注意力（Self-Attention）机制。对于输入序列长度\(L\)，隐藏维度\(D\)，自注意力的计算过程为：

Q = X @ W_Q   # (L, D) @ (D, D) → (L, D)
K = X @ W_K   # (L, D) @ (D, D) → (L, D)
V = X @ W_V   # (L, D) @ (D, D) → (L, D)
A = Q @ K^T   # (L, D) @ (D, L) → (L, L)
A = softmax(A / sqrt(D))
O = A @ V     # (L, L) @ (L, D) → (L, D)

其计算复杂度为\(O(L^2 \cdot D)\)，其中\(L^2\)部分来自注意力矩阵的计算。当输入序列长度从128增加到512时，注意力部分的计算量增加16倍，而线性投影部分仅增加4倍。这就是BERT在长文本任务中推理延迟急剧上升的根本原因。

3.2.2 判断方法：区分计算密集与访存密集

在Transformer中，不同算子的瓶颈类型不同：

  • QKV线性投影：计算密集（Compute-bound），适合用FLOPs衡量。
  • 注意力矩阵乘法：\(L \times L\)矩阵在序列较长时变为访存密集（Memory-bound），因为中间结果需要频繁写入/读取HBM。
  • FFN（前馈网络）：通常为计算密集，但中间维度\(4D\)的激活值会占用大量内存。

因此，在剪枝BERT时，不能简单地对所有层设置相同的剪枝比例。我们建议对注意力头（Attention Head）进行结构化剪枝，对FFN的中间维度进行通道剪枝，并保留QKV投影的完整维度以维持数值稳定性。

3.2.3 案例拆解：BERT-base的头部剪枝与蒸馏结合

BERT-base包含12层Transformer，每层12个注意力头，隐藏维度768。在边缘设备（如手机NPU）上部署时，我们采用以下流程：

  1. 注意力头重要性评估：使用基于梯度的方法（如Head Importance Score）计算每个头对最终输出的贡献。我们发现，底层（第1-4层）的注意力头冗余度较高，平均有30%的头可以移除而不影响精度。
  2. 渐进式剪枝：从第1层开始，每次移除该层中重要性得分最低的2个头，在验证集上评估精度。当精度下降超过0.5%时停止该层剪枝。
  3. FFN维度压缩：对FFN的中间层（维度3072）进行通道剪枝，使用L1范数作为重要性指标。实际剪枝比例为20%，即中间维度降至2458。
  4. 知识蒸馏微调：将原始BERT-base作为教师模型，剪枝后的模型作为学生模型，使用KL散度损失进行蒸馏训练，恢复精度损失。

最终模型参数量减少35%，FLOPs减少42%，在GLUE基准上的平均精度仅下降1.2%。但值得注意的是，在序列长度超过256时，注意力矩阵的内存占用成为瓶颈，此时仅靠剪枝无法解决，需要配合稀疏注意力或线性注意力机制。

风险提示：对Transformer进行剪枝时，务必关注LayerNorm和残差连接。若剪枝导致某一层的输出维度变化，必须同步调整后续LayerNorm的输入维度。此外，注意力头的剪枝会改变注意力矩阵的维度，需确保多头注意力的输出拼接后维度与下一层输入一致。

3.2.4 常见误区：忽略序列长度的影响

很多工程师在剪枝Transformer时，使用固定序列长度（如128）进行FLOPs评估，但实际部署时序列长度可能动态变化。例如，在智能音箱的语音识别场景中，输入音频帧数可能从50到500不等。当序列长度超过256时，注意力部分的计算量占比急剧上升，此时应优先剪枝注意力头而非FFN。建议在剪枝前，先绘制不同序列长度下的FLOPs分布曲线，确定瓶颈区间。

3.3 轻量级模型设计：MobileNet与EfficientNet的启示

3.3.1 核心原理：深度可分离卷积的复杂度优势

MobileNetV2的核心是倒残差结构（Inverted Residual Block），其计算过程为：

1×1 Conv (扩展层): 将通道数从C扩展到6C
3×3 Depthwise Conv: 逐通道卷积
1×1 Conv (投影层): 将通道数从6C压缩回C

其FLOPs计算为：

FLOPs = C × 6C × H × W + 6C × 9 × H × W + 6C × C × H × W
      = (6C² + 54C + 6C²) × H × W
      ≈ 12C² × H × W (当C较大时)

相比标准卷积的\(C^2 \times K^2 \times H \times W\)（K=3时为\(9C^2 \times H \times W\)），深度可分离卷积的FLOPs约为标准卷积的1/8到1/9。但深度可分离卷积的硬件利用率较低，在GPU上可能无法达到理论加速比。

3.3.2 判断方法：计算密度与硬件匹配度

在边缘AI芯片（如高通Hexagon、联发科APU）上，深度可分离卷积的加速效果取决于芯片是否支持优化的Depthwise指令。我们建议使用以下指标评估：

模型FLOPs (M)Params (M)在手机CPU上的延迟 (ms)在NPU上的延迟 (ms)
ResNet-50410025.68512
MobileNetV23003.4254
MobileNetV3-Large2195.4183
EfficientNet-B03905.3305

从上表可见，MobileNetV3虽然FLOPs比EfficientNet-B0低，但在CPU上的延迟更低，这是因为其使用了硬件友好的激活函数（h-swish）和SE模块的优化实现。

3.3.3 案例拆解：MobileNetV2在Cortex-M7上的剪枝实践

在MCU级别的边缘设备（如Cortex-M7，主频400MHz，RAM 512KB）上部署MobileNetV2时，我们面临的主要约束不是FLOPs而是内存。原始MobileNetV2的峰值激活值约为10MB，远超MCU的RAM容量。我们的解决方案是：

  1. 激活值感知的通道剪枝：优先剪枝那些产生大激活值的层（通常是倒残差结构的扩展层）。通过分析，我们发现第5个倒残差块的扩展层（通道数从32扩展到192）产生的激活值占络的18%。
  2. 量化感知训练：在剪枝后，使用8位量化感知训练（QAT），将激活值从FP32压缩到INT8，内存占用降低4倍。
  3. 算子融合：将BN层融合到前一层的卷积中，减少一次内存读写。

最终，模型在MCU上的峰值内存占用降至380KB，单次推理延迟为320ms，精度从71.2%降至68.5%（ImageNet子集）。这个案例说明，在极端资源受限的场景下，内存优化比FLOPs优化更重要。

关键结论：MobileNet系列模型本身已经高度优化，直接进行剪枝的空间有限（通常只能减少10-20%的FLOPs）。更有效的做法是结合知识蒸馏，将大模型（如ResNet-50）的知识迁移到MobileNet中，提升小模型的精度上限。

3.3.4 常见误区：盲目追求FLOPs最低

FLOPs最低的模型不一定是最适合边缘部署的模型。例如，EfficientNet-B0的FLOPs比MobileNetV2低，但其使用了Swish激活函数和复杂的SE模块，在缺乏硬件优化的设备上可能更慢。在选型时，应使用目标硬件上的实际延迟作为最终指标，而非理论FLOPs。

3.4 计算复杂度分析的工程化方法

3.4.1 核心原理：从FLOPs到Roofline模型

Roofline模型是分析计算密集与访存密集的经典工具。其核心思想是：

实际性能 = min(峰值计算性能, 峰值内存带宽 × 计算强度)
计算强度 = FLOPs / 内存访问字节数

当计算强度低于某个阈值（Ridge Point）时，模型受内存带宽限制；高于阈值时，受计算性能限制。在剪枝时，我们应针对不同层采用不同的优化策略：

  • 计算密集层（如1×1卷积）：优先减少FLOPs，通过通道剪枝实现。
  • 访存密集层（如Depthwise卷积）：优先减少内存访问，通过减少通道数或使用更小的数据类型实现。

3.4.2 操作流程：使用Profiler进行复杂度剖析

在实际项目中，我们推荐以下标准流程：

1. 使用PyTorch Profiler或TensorRT Profiler测量各层延迟
2. 计算每层的FLOPs、参数量、激活值大小
3. 绘制FLOPs-延迟散点图，识别异常点（FLOPs低但延迟高的层）
4. 对异常层进行内存访问分析，确认是否为访存瓶颈
5. 制定剪枝策略：计算密集层→通道剪枝；访存密集层→减少通道数+量化
6. 剪枝后重新测量，验证实际加速效果

3.4.3 案例拆解：YOLOv5s的端到端复杂度优化

YOLOv5s是边缘部署中常用的目标检测模型，其Backbone为CSPDarknet，Neck为PANet。在将其部署到Jetson Nano（GPU，128个CUDA核心）时，我们进行了以下优化：

  1. Profiler分析：发现CSPLayer中的3×3卷积（通道数128）占FLOPs的35%，但延迟仅占20%；而PANet中的上采样和Concat操作虽然FLOPs低，但内存访问频繁，延迟占比达30%。
  2. 通道剪枝：对CSPLayer中的3×3卷积进行通道剪枝，比例30%，FLOPs降低25%。
  3. 内存优化：将Concat操作改为原地操作（in-place），减少一次内存拷贝，延迟降低12%。
  4. TensorRT量化：使用INT8量化，整体延迟从45ms降至18ms。

最终，模型在保持mAP@0.5下降不超过1%的前提下，实现了2.5倍加速。这个案例表明，复杂度分析必须结合硬件特性，才能实现最优的剪枝效果。

风险提示：在剪枝后，务必验证数值稳定性。通道剪枝可能导致BN层的统计量（均值、方差）失配，建议在剪枝后重新运行前向传播，更新BN统计量，或进行短时间的微调（Fine-tune）。

3.4.4 常见误区：忽略数据精度的影响

在计算FLOPs时，默认使用FP32精度。但在实际部署中，INT8量化的FLOPs与FP32相同，但能耗和延迟显著降低。因此，在比较不同压缩方案时，应使用等效精度下的延迟作为指标，而非单纯比较FLOPs。例如，一个FP32模型剪枝50%后，其FLOPs为原来的50%，但若使用INT8量化，其延迟可能仅为原来的25%（因为INT8计算速度是FP32的2倍，且内存带宽减半）。

← 上一章 📖 返回目录 下一章 →