第三章 深度学习模型基础：神经网络核心组件与计算特性

在嵌入式AI模型压缩与部署的工程实践中，我们面对的首要问题并非“如何压缩”，而是“压缩什么”。只有深刻理解神经网络的核心组件（卷积、全连接、激活函数）、主流架构（CNN、RNN、Transformer）的计算特性，以及参数量与FLOPs的精确评估方法，才能制定出合理的压缩策略（如剪枝、量化、蒸馏）并准确预估部署后的性能收益。本章将系统拆解这些基础要素，为后续的模型轻量化技术奠定坚实的认知基础。

3.1 神经网络核心组件：从计算视角重新审视

在嵌入式部署中，我们关注的不只是数学表达，更重要的是每种算子对应的内存访问模式与计算密度。这决定了它在特定硬件（如ARM Cortex-M、NPU、DSP）上的实际运行效率。

3.1.1 卷积层：计算密度与数据复用

卷积层是CNN的主力，其计算特性表现为高计算密度（FLOPs/Byte比值高）。以标准3x3卷积为例，对于输出特征图上的每个点，需要执行 3×3×C_in 次乘加运算，而输入数据（输入特征图的一个窗口）可以被输出通道复用。这种数据复用特性使得卷积非常适合在带有硬件加速器（MAC阵列）的NPU上运行。

从部署角度，卷积层的关键参数包括：卷积核尺寸（K）、输入通道数（C_in）、输出通道数（C_out）、步长（Stride）和填充（Padding）。其中，C_in 和 C_out 直接决定了参数量（K×K×C_in×C_out），而输出特征图尺寸（H_out×W_out）则决定了计算量。在模型压缩时，1x1卷积（K=1）常被用于通道调整，其计算量仅为 1×1×C_in×C_out×H×W，但参数量占比在MobileNet等轻量网络中可达30%以上。

3.1.2 全连接层：参数量爆炸与存储瓶颈

全连接层（Fully Connected, FC）在早期CNN中用于分类头，其本质是矩阵乘法（Gemm）。它的计算特性与卷积完全不同：参数量极大（C_in × C_out），但计算密度相对较低。例如，一个输入维度为1024、输出维度为1000的FC层，参数量高达102.4万个，若以FP32存储则占用约4MB空间，这在Flash通常只有几MB的MCU上是不可接受的。

在部署实践中，FC层往往是模型压缩的首要目标。常用策略包括：

• 全局平均池化（GAP）替代：在ResNet等现代架构中，使用GAP将特征图降维后再接FC，大幅减少FC输入维度。
• 低秩分解：将权重矩阵 W（C_out × C_in）分解为两个小矩阵 W1（C_out × r）和 W2（r × C_in），其中 r 远小于 C_in 和 C_out，从而将参数量从 C_out×C_in 降为 r×(C_out+C_in)。
• 量化：将FC层权重从FP32量化为INT8，参数量存储直接减少4倍。

3.1.3 激活函数：计算简单但影响量化精度

激活函数引入非线性，其计算量占比通常小于5%，但在模型量化（INT8）时却扮演关键角色。ReLU（Rectified Linear Unit）因其计算简单（max(0,x)）且对量化友好（负半轴直接截断），成为嵌入式部署的首选。而Sigmoid和Tanh涉及指数运算，在FP32下计算较慢，在INT8下则需要查找表（LUT）或多项式近似。

近年来，Transformer架构中广泛使用的GELU（Gaussian Error Linear Unit）和SiLU（Sigmoid Linear Unit）虽然精度更好，但其计算复杂度较高。在嵌入式部署时，通常需要将其替换为ReLU或Hard-Swish（MobileNetV3中使用）等近似函数，以降低计算开销并简化量化过程。

3.2 常见模型架构及其计算特性

不同的模型架构在计算特性上存在显著差异，这直接影响压缩策略的选择。下表对比了三大主流架构在嵌入式部署中的关键指标。

3.2.1 CNN：卷积主导的局部感知

CNN通过卷积核的滑动窗口提取局部特征，其计算特性是空间局部性强。在部署时，MobileNetV2/V3等轻量架构采用深度可分离卷积（Depthwise Separable Convolution），将标准卷积分解为Depthwise Conv（每个通道独立卷积）和Pointwise Conv（1x1卷积），计算量可降低8-9倍。例如，对于输入通道64、输出通道128、特征图尺寸56x56的3x3卷积：

标准卷积计算量 = 3×3×64×128×56×56 = 231.2M MACs
深度可分离卷积计算量 = 3×3×64×56×56 + 1×1×64×128×56×56 = 1.8M + 25.7M = 27.5M MACs
计算量降低比例 = 1 - 27.5/231.2 ≈ 88%

这种结构在嵌入式AI芯片（如STM32N6的NPU）上非常高效，因为Depthwise Conv的并行度较低但数据复用好，而Pointwise Conv则高度并行。

3.2.2 RNN：时序依赖与难以并行

RNN（包括LSTM、GRU）在嵌入式端的应用场景主要是关键词唤醒（KWS）和传感器时序分类。其核心计算是输入到隐藏层和隐藏层到隐藏层的矩阵乘法。由于存在时间步的循环依赖，RNN无法像CNN那样大规模并行，导致在MCU上运行效率较低。LSTM的一个时间步包含4个门控（输入门、遗忘门、候选门、输出门），每个门控都需要一次矩阵乘法，参数量为 4×(C_in+C_hidden)×C_hidden。

在压缩RNN时，常用的方法包括结构化剪枝（将权重矩阵按行或列剪枝）和量化。但需注意，RNN对量化误差更敏感，因为误差会在时间步上累积。实践中，INT8量化后的LSTM在唤醒词任务中精度损失通常控制在1%以内，但需要逐层校准。

3.2.3 Transformer：注意力机制与内存带宽瓶颈

Transformer在视觉（ViT）和语音（Whisper）任务中表现优异，但其部署挑战最大。核心瓶颈在于Self-Attention机制：对于序列长度L和特征维度D，注意力矩阵的计算量为 L²×D，且需要存储 L×L 的注意力分数矩阵。当L=196（ViT的14x14 patch）时，注意力矩阵为196×196，尚可接受；但当L=1024（文本序列）时，矩阵规模达到1024×1024，内存占用和计算量急剧上升。

在嵌入式部署Transformer时，通常采取以下策略：

• 窗口注意力：限制注意力计算在局部窗口内（如Swin Transformer），将L²复杂度降为窗口大小²。
• 线性注意力：使用核函数近似Softmax，将复杂度降为O(L)。
• INT8量化：对Q/K/V矩阵和注意力分数进行量化，但需注意Softmax的输入范围较大，需要非对称量化。

3.3 模型参数量与计算量（FLOPs）的评估方法

准确评估模型的参数量和计算量是压缩部署的第一步。错误的评估会导致压缩策略失效或部署后性能不达标。

3.3.1 参数量的精确计算

参数量（Params）决定了模型在Flash中的存储大小。计算公式如下：

卷积层参数量 = K_h × K_w × C_in × C_out + C_out（偏置）
全连接层参数量 = C_in × C_out + C_out（偏置）
BatchNorm层参数量 = 2 × C_out（gamma和beta）

注意，BatchNorm（BN）层在推理时通常被融合到卷积层中（BN融合），因此部署时的参数量不包含BN参数。但在计算原始模型参数量时，BN参数需要计入。例如，ResNet-50的参数量约为25.6M，其中卷积层占99%以上。

3.3.2 FLOPs与MACs的区分与计算

FLOPs（Floating Point Operations）指浮点运算次数，而MACs（Multiply-Accumulate Operations）指乘加运算次数。一次MAC包含一次乘法和一次加法，因此 FLOPs = 2 × MACs。在嵌入式AI领域，硬件厂商（如ARM、ST）通常以MACs为单位衡量NPU算力，而学术中常用FLOPs。

以标准卷积层为例，其MACs计算公式为：

MACs = K_h × K_w × C_in × C_out × H_out × W_out
其中 H_out = (H_in + 2×Padding - K_h) / Stride + 1

对于深度可分离卷积，MACs = Depthwise MACs + Pointwise MACs = K_h×K_w×C_in×H_out×W_out + C_in×C_out×H_out×W_out。

3.3.3 使用工具进行自动化评估

手动计算复杂模型的参数量和FLOPs容易出错，推荐使用以下工具：

• PyTorch的torchsummary：输出每层参数量和输出形状。
• thop（PyTorch-OpCounter）：自动统计FLOPs和参数量，支持自定义算子。
• ONNX Runtime的profiling：在ONNX导出后，通过runtime分析各节点耗时和内存。

以下是一个使用thop的示例代码：

import torch
from thop import profile, clever_format
from models.mobilenetv2 import MobileNetV2

model = MobileNetV2(num_classes=10)
input_tensor = torch.randn(1, 3, 224, 224)
macs, params = profile(model, inputs=(input_tensor,))
macs, params = clever_format([macs, params], "%.3f")
print(f"MACs: {macs}, Params: {params}")

3.4 案例拆解：MobileNetV2在Cortex-M7上的部署评估

为了将上述理论应用于实践，我们以一个具体的案例来展示如何评估模型的计算特性并制定压缩策略。

3.4.1 项目背景与初始目标

某工业视觉项目需要在STM32H743（Cortex-M7 @ 480MHz，2MB Flash，1MB RAM）上部署一个图像分类模型，识别10种产品缺陷。初始方案采用ResNet-18，但实测推理延迟为850ms，远超200ms的实时性要求。项目组决定评估并压缩模型。

3.4.2 模型评估与瓶颈分析

首先，使用thop统计ResNet-18的参数量和MACs：

ResNet-18: Params = 11.69M, MACs = 1.82G
FP32模型大小 = 11.69M × 4B = 46.8MB（远超2MB Flash）

进一步分析各层耗时（使用STM32Cube.AI的Benchmark工具）：

分析结论：模型存储超限（46.8MB vs 2MB），且计算量过大（1.82G MACs）。

3.4.3 压缩策略与实施步骤

基于评估结果，项目组采取了“架构替换 + 量化”的组合策略：

1. 架构替换：将ResNet-18替换为MobileNetV2（宽度乘数0.5）。MobileNetV2-0.5的参数量为2.3M，MACs为0.3G，分别降低了80%和83%。
2. INT8量化：使用STM32Cube.AI的量化工具将模型量化为INT8。模型大小进一步从9.2MB（2.3M×4B）降至2.3MB（2.3M×1B），勉强满足Flash限制。
3. 激活函数替换：将MobileNetV2中的ReLU6替换为ReLU，以简化量化过程（ReLU6在INT8下需要额外的截断操作）。
4. 算子融合：在部署时，将BN层融合到卷积层中，减少推理时的内存访问。

3.4.4 结果对比与复盘

最终方案满足200ms实时性要求，准确率损失3.2%在可接受范围内。复盘经验：

• 架构替换是降低计算量的最有效手段，但需注意准确率回退。
• INT8量化在Cortex-M7上带来了约47%的加速（180ms→95ms），主要得益于SIMD指令和Flash读取带宽的降低。
• ReLU6替换为ReLU后，量化精度损失从0.5%降至0.2%，说明激活函数的选择对量化影响显著。

3.5 总结与核心要点

本章从嵌入式部署的视角，系统梳理了神经网络核心组件的计算特性。关键要点归纳如下：

• 卷积层是计算密集型算子，适合NPU加速；全连接层是存储密集型算子，是剪枝和量化的首要目标。
• 激活函数虽计算量小，但对量化精度影响大，部署时应优先选择ReLU或Hard-Swish。
• CNN适合局部特征提取，RNN存在时序依赖难以并行，Transformer受限于注意力机制的内存带宽。
• 参数量决定Flash占用，MACs决定计算延迟，但实际部署需结合硬件特性进行实测。
• 压缩策略的选择应基于瓶颈分析：存储瓶颈用剪枝/量化，计算瓶颈用轻量化架构，内存带宽瓶颈用激活量化/内存复用。