第三章 深度学习模型基础：卷积神经网络、Transformer等常见模型结构，模型参数与计算量（FLOPs）概念，模型部署流程概览
嵌入式AI部署的核心挑战在于：如何在资源受限的硬件（如手机SoC、MCU、边缘GPU/NPU）上，高效运行深度学习模型。要解决这一挑战，首先必须深刻理解模型本身的“家底”——它的结构特性、参数规模、计算需求，以及从训练到部署的完整链路。本章将系统梳理卷积神经网络（CNN）与Transformer这两大主流模型家族的结构差异，厘清参数（Params）与计算量（FLOPs）这两个最关键的复杂度指标，并给出一个贯穿始终的模型部署标准流程概览，为后续的量化与剪枝实战打下坚实的认知基础。
3.1 核心原理：CNN与Transformer的结构本质
深度学习模型本质上是“多层可微参数化函数”的堆叠。不同模型家族的区别在于其基本算子（Operator）和连接方式。理解这些结构差异，是判断模型能否在嵌入式设备上高效运行的前提。
卷积神经网络（CNN）的核心算子是卷积（Convolution）。它通过一个固定大小的卷积核（如3×3或1×1）在输入特征图上滑动，计算局部区域的加权和。这种设计带来了两个关键特性：局部感受野（每个输出像素只依赖输入的一个局部窗口）和权重共享（同一个卷积核在整个特征图上复用）。这使得CNN天然适合处理具有空间相关性的数据（如图像），且参数量相对可控。典型的CNN结构由卷积层（Conv）、批归一化层（BN）、激活函数（ReLU）和池化层（Pooling）交替堆叠而成。在嵌入式部署中，CNN的卷积操作可以被高效映射到GPU、NPU甚至DSP的乘累加（MAC）单元上。
Transformer则完全基于自注意力（Self-Attention）机制。其核心是计算输入序列中任意两个位置之间的相关性权重，并用这些权重对输入进行加权求和。这意味着每个输出位置都能“看到”全局信息，解决了RNN/CNN难以捕捉长距离依赖的问题。Transformer的基本单元是Transformer Block，包含多头注意力（Multi-Head Attention）、层归一化（LayerNorm）和前馈网络（FFN）。然而，自注意力的计算复杂度是输入序列长度的平方（O(n²)），且包含大量矩阵乘法（GEMM），对嵌入式设备的算力和内存带宽提出了更高要求。近年来，轻量级Transformer（如MobileViT、EdgeNeXt）通过混合CNN与注意力机制，试图在全局建模能力和计算效率之间取得平衡。
3.2 判断方法：模型参数（Params）与计算量（FLOPs）的精确计算
在评估一个模型是否适合部署到特定硬件时，我们最关心两个数字：参数量（Params）和计算量（FLOPs）。它们是衡量模型复杂度的“标尺”。
参数量（Params）决定了模型文件的大小和运行时所需的内存空间。其计算公式如下：
- 卷积层：Params = K_h × K_w × C_in × C_out + C_out（其中K_h、K_w为卷积核高宽，C_in为输入通道数，C_out为输出通道数，C_out为偏置项）。
- 全连接层：Params = C_in × C_out + C_out。
- Transformer的QKV投影：Params = 3 × (D_model × D_model)（忽略偏置）。
计算量（FLOPs）（Floating Point Operations，浮点运算次数）决定了模型推理所需的计算时间。注意区分FLOPs（浮点运算次数）与FLOP/s（每秒浮点运算次数，即算力）。在业界，更常用的是MACs（Multiply-Accumulate Operations，乘累加运算次数），1 MAC = 2 FLOPs（一次乘法+一次加法）。
- 卷积层：MACs = K_h × K_w × C_in × C_out × H_out × W_out（其中H_out、W_out为输出特征图尺寸）。
- 全连接层：MACs = C_in × C_out。
- Transformer的注意力层：MACs ≈ 4 × (L × D_model²)（其中L为序列长度，D_model为特征维度，包含Q、K、V投影和输出投影）。
在实际工程中，我们通常使用工具（如PyTorch的torchstat、thop库，或ONNX的onnx-tensorboard）来自动统计这些指标。但理解其计算原理，有助于我们快速估算模型优化（如剪枝）后的收益。
| 模型结构 | 参数量（Params） | 计算量（FLOPs） | 部署瓶颈 |
|---|---|---|---|
| ResNet-50 (CNN) | 25.6M | 4.1 GFLOPs | 内存带宽（BN层） |
| MobileNetV3 (轻量CNN) | 5.4M | 0.2 GFLOPs | 激活值内存 |
| ViT-Base (Transformer) | 86M | 17.6 GFLOPs | 注意力矩阵计算 |
| BERT-Base (Transformer) | 110M | 22.4 GFLOPs | 内存带宽（Embedding） |
3.3 案例拆解：从PyTorch模型到部署前的复杂度审计
下面我们通过一个实际案例，演示如何对一个用于图像分类的CNN模型进行复杂度审计，并判断其是否满足嵌入式部署要求。
场景与目标：假设我们需要将一个图像分类模型部署到一款基于Cortex-M7内核的MCU上，该MCU拥有2MB Flash和1MB RAM，主频400MHz。我们选择了一个轻量化的自定义CNN模型（类似MobileNetV2的结构）。
初始现象与指标：使用thop库统计得到：模型参数量为1.2M（FP32），计算量为0.5 GFLOPs。模型文件大小为4.8MB（1.2M × 4字节）。
分析判断过程：
- 存储检查：4.8MB > 2MB Flash，直接部署失败。必须进行量化（INT8）或剪枝。
- 内存检查：FP32推理时，激活值（Feature Map）峰值约为0.8MB，加上权重（4.8MB），总内存需求远超1MB RAM。
- 算力检查：0.5 GFLOPs = 500M MACs。Cortex-M7主频400MHz，其DSP指令集每秒可执行约400M MACs（理论峰值）。这意味着推理时间至少需要1.25秒，远高于实时性要求（通常<100ms）。
实际操作步骤：
# 1. 使用thop统计模型复杂度
from thop import profile
import torch
from models import MyCNN
model = MyCNN()
input_tensor = torch.randn(1, 3, 224, 224)
macs, params = profile(model, inputs=(input_tensor,))
print(f"MACs: {macs/1e6:.2f}M, Params: {params/1e6:.2f}M")
# 2. 模拟INT8量化后的存储需求
int8_params = params / 1e6 # 单位M
int8_size_mb = int8_params * 1 # INT8每个参数1字节
print(f"INT8模型大小: {int8_size_mb:.2f}MB")
# 3. 估算推理时间（假设硬件利用率50%）
inference_time_s = macs / (400e6 * 0.5)
print(f"预估推理时间: {inference_time_s*1000:.1f}ms")结果对比与决策：经过INT8量化后，模型大小降至1.2MB（满足Flash要求），但推理时间仍约1.25秒（不满足实时性）。因此，我们决定采用结构化剪枝（去除冗余通道），将计算量降低至0.2 GFLOPs，推理时间降至约500ms。虽然仍不满足100ms的硬实时要求，但结合知识蒸馏（使用更大的教师模型指导训练）和输入分辨率降低（从224×224降至160×160），最终将推理时间压缩至80ms，成功部署。
3.4 常见误区与总结复盘
在理解模型复杂度和部署流程时，初学者常陷入以下误区：
- 误区一：只关注参数量，忽略计算量。参数量决定存储，计算量决定延迟。两者独立，有时模型很小但计算量很大（如ViT），有时模型很大但计算量不大（如全连接层多的模型）。
- 误区二：混淆FLOPs与MACs。在阅读或硬件手册时，务必确认指标口径。1 MAC = 2 FLOPs，如果对比数据时未统一口径，会得出错误结论。
- 误区三：忽视激活值（中间特征图）的内存占用。部署时不仅需要存储权重，还需要为每一层的输入/输出分配临时内存。对于高分辨率输入，激活值可能占据大部分RAM。
- 误区四：认为部署流程是“训练完直接转换”。实际上，部署是一个迭代优化的过程：训练后模型需要经过模型压缩（量化/剪枝）→ 格式转换（如ONNX→TensorRT/TFLite）→ 硬件适配 → 精度验证，任何一步失败都需要回退调整。