3、深度学习模型基础：卷积神经网络、Transformer等典型模型结构、计算量（FLOPs）与参数量分析
在边缘AI模型压缩与部署的工程实践中，对模型结构的深入理解是进行量化、剪枝、知识蒸馏等优化的前提。卷积神经网络（CNN）与Transformer是当前视觉与多模态任务的两大基石。本章将系统梳理这两类典型模型的核心结构单元，并重点剖析计算量（FLOPs）与参数量的数学定义、统计口径及工程估算方法，为后续章节的硬件协同设计（如NPU算子映射、内存带宽规划）奠定量化分析基础。
上图展示了CNN与Transformer在计算特性上的本质差异。CNN的FLOPs主要由卷积核尺寸、特征图分辨率与通道数决定，而Transformer的FLOPs则由序列长度与特征维度共同主导。理解这些差异是选择压缩策略（如结构化剪枝、动态量化）的第一步。
3.1 卷积神经网络核心结构单元
3.1.1 卷积层：计算量与参数量的数学本质
卷积层是CNN的计算核心。对于输入特征图尺寸为 \(H \times W \times C_{in}\)，卷积核尺寸为 \(K \times K\)，输出通道数为 \(C_{out}\)，且stride=1、padding保持尺寸不变时，其计算量与参数量定义如下：
- 参数量（Params）：\(C_{in} \times C_{out} \times K \times K\)，不含偏置项。该值仅与卷积核尺寸和通道数相关，与输入分辨率无关。
- 计算量（FLOPs）：\(2 \times H \times W \times C_{in} \times C_{out} \times K \times K\)。其中因子2代表一次乘法和一次加法。注意，FLOPs与输入分辨率 \(H \times W\) 呈线性关系。
在工程统计中，通常将乘加操作（MACs）与FLOPs区分。1次MAC = 2次FLOPs。例如，MobileNetV2的深度可分离卷积将标准卷积分解为深度卷积（Depthwise）与逐点卷积（Pointwise），其FLOPs约为标准卷积的 \(\frac{1}{C_{out}} + \frac{1}{K^2}\) 倍，这是边缘设备部署的关键考量。
3.1.2 池化层与激活函数：计算量占比小但影响硬件流水
池化层（MaxPool/AvgPool）的FLOPs约为 \(H \times W \times C\)，远小于卷积层。但在硬件部署中，池化层涉及数据搬运与比较操作，在低功耗MCU上可能成为流水线瓶颈。ReLU等激活函数虽然FLOPs为0，但其非线性特性在量化推理中需要特殊查表处理，增加额外延迟。
3.2 Transformer典型结构：MHSA与FFN的代价模型
3.2.1 多头自注意力（MHSA）的计算分解
设输入序列长度为 \(N\)，特征维度为 \(d\)，头数为 \(h\)，每个头的维度 \(d_h = d/h\)。MHSA的计算量由三部分构成：
- Q/K/V投影：\(3 \times N \times d \times d\) 次MAC，即 \(6Nd^2\) FLOPs。
- 注意力权重计算：\(QK^T\) 矩阵乘，计算量为 \(N^2 \times d\) 次MAC，即 \(2N^2d\) FLOPs。
- 注意力加权求和：\(Attention \times V\)，计算量同为 \(2N^2d\) FLOPs。
因此，单层MHSA的总FLOPs约为 \(6Nd^2 + 4N^2d\)。当 \(N\) 较大（如视觉任务中 \(N=196\) 或更高）时，\(N^2\) 项将主导计算量，这是Transformer在边缘设备上部署的主要障碍。
3.2.2 前馈网络（FFN）与层归一化
FFN通常包含两个全连接层，中间维度为 \(4d\)。其FLOPs为 \(2 \times N \times d \times 4d = 8Nd^2\)。层归一化（LayerNorm）的FLOPs约为 \(O(Nd)\)，但涉及均值、方差的归约操作，在硬件上需要额外的数据缓存。
| 模块 | FLOPs公式 | 参数量公式 | 硬件瓶颈特征 |
|---|---|---|---|
| 标准卷积 (K×K) | \(2HWC_{in}C_{out}K^2\) | \(C_{in}C_{out}K^2\) | MAC阵列利用率高，访存带宽受限 |
| 深度可分离卷积 | \(2HWC_{in}(K^2 + C_{out})\) | \(C_{in}(K^2 + C_{out})\) | 内存访问频繁，需优化数据复用 |
| MHSA (单层) | \(6Nd^2 + 4N^2d\) | \(4d^2\) (QKV+输出投影) | \(N^2\) 项导致片上SRAM容量紧张 |
| FFN (单层) | \(8Nd^2\) | \(8d^2\) | 权重矩阵大，需外部存储带宽支撑 |
3.3 计算量与参数量的工程估算方法
3.3.1 手动推导与工具辅助
在硬件协同设计初期，建议采用分层统计法：先逐层计算FLOPs与Params，再汇总为总表。对于标准结构，可直接套用公式；对于自定义模块（如SE模块、动态卷积），需拆解为基本算子后累加。常用工具包括：
- thop：PyTorch生态的FLOPs计数器，支持自定义算子。
- ptflops：提供更详细的层级别统计，支持输入分辨率指定。
- onnx-tensorboard：可视化ONNX模型的FLOPs分布。
# 使用thop统计模型计算量示例
from thop import profile
import torchvision.models as models
model = models.mobilenet_v2(pretrained=False)
input_tensor = torch.randn(1, 3, 224, 224)
macs, params = profile(model, inputs=(input_tensor,))
print(f"MACs: {macs/1e9:.2f}G, Params: {params/1e6:.2f}M")
# 输出示例: MACs: 0.30G, Params: 3.50M3.3.2 硬件映射时的FLOPs修正
理论FLOPs与实际硬件执行周期存在差异。例如，在NPU上执行3×3卷积时，若采用Winograd算法，乘法次数可减少约2.25倍，但加法次数增加。因此，在评估硬件利用率时，应使用有效MACs（即实际乘加次数）而非理论FLOPs。此外，内存搬运的能耗往往高于计算能耗，需结合数据复用策略综合评估。
3.4 案例拆解：MobileNetV2与ViT-Tiny的部署对比
以图像分类任务为例，输入分辨率均为224×224，对比MobileNetV2（宽度乘数1.0）与ViT-Tiny（patch size=16，深度=12，隐藏维度=192）的部署特性。
| 指标 | MobileNetV2 | ViT-Tiny | 差异分析 |
|---|---|---|---|
| 参数量 | 3.5M | 5.7M | ViT略大，但差距在可接受范围 |
| FLOPs | 0.32G | 1.28G | ViT约为MobileNetV2的4倍 |
| 序列长度N | N/A | 196 (14×14 patches) | ViT的注意力计算量随N²增长 |
| 片上SRAM需求 | 约0.5MB（特征图） | 约2.1MB（注意力矩阵） | ViT需更大缓存，否则频繁访问DRAM |
| 量化敏感性 | INT8精度损失<1% | INT8精度损失2-3% | ViT对激活值量化更敏感，需混合量化 |
部署决策过程：在边缘设备（如瑞芯微RK3588，NPU算力6TOPS）上，MobileNetV2的理论推理时间约为0.32G/6T=53ms，而ViT-Tiny约为213ms。但实际测试中，ViT-Tiny的延迟可能达到300ms以上，原因是注意力矩阵的访存开销远超理论计算时间。因此，在资源受限场景下，优先选择CNN结构；若需Transformer的全局建模能力，建议采用轻量化变体（如MobileViT）或对注意力模块进行剪枝。
3.5 常见误区与复盘
- 误区1：忽略输入分辨率对FLOPs的影响。 同一模型在224×224与512×512输入下，卷积层FLOPs增长约5.2倍，而Transformer的注意力部分增长约5.2倍（N²增长），但FFN部分仅增长2.3倍。需分别评估。
- 误区2：将FLOPs等同于能耗。 在7nm工艺下，一次8bit MAC约消耗0.2pJ，而一次DRAM访问（32bit）约消耗20pJ，相差100倍。因此，减少内存访问比减少FLOPs更有效。
- 误区3：参数量小不代表模型轻量。 例如，RepVGG在推理时通过结构重参数化将多分支合并为单路卷积，参数量不变但FLOPs降低，推理速度显著提升。
复盘建议： 在每次模型压缩迭代后，应同时记录FLOPs、Params、实际延迟、功耗和精度五项指标，并绘制帕累托曲线，以确定最优工作点。对于边缘AI场景，通常以“精度/功耗”作为核心优化目标，而非单纯追求低FLOPs。