深度学习模型基础：卷积神经网络结构、常用算子（Conv、BN、ReLU、FC）、模型计算图与参数表示

在嵌入式AI部署的完整链路中，模型结构是算法与硬件之间的“契约”。无论是量化、剪枝还是算子融合，所有优化手段都必须建立在对网络结构、算子语义和参数存储方式的精确理解之上。本章聚焦卷积神经网络（CNN）的核心组成单元——Conv、BN、ReLU、FC，以及它们如何构成计算图与参数张量。理解这些基础，是后续进行通道剪枝、量化误差分析和算子映射的前提。

3.1 卷积神经网络的核心结构范式

CNN 的设计哲学是“局部感知 + 参数共享 + 层次抽象”。一个典型的视觉模型（如 ResNet、MobileNet）由多个阶段（Stage）堆叠而成，每个阶段包含若干基本块（Block），而每个基本块又由 Conv、BN、ReLU 等算子组合构成。从部署视角看，我们更关心的是算子的计算形状（Shape）和内存访问模式，而非其数学推导细节。

3.1.1 卷积层（Conv2D）——计算密度最高的算子

卷积层是 CNN 中计算量最大的部分，其参数由四维张量构成：权重形状为 [Cout, Cin, Kh, Kw]，其中 Cout 为输出通道数，Cin 为输入通道数，Kh 和 Kw 为卷积核尺寸。偏置形状为 [Cout]。在嵌入式部署中，卷积的计算密度（MACs/Byte）直接决定了算子的访存效率。例如，一个 3×3 卷积，若输入通道为 64，输出通道为 64，则单个输出像素需要 64×3×3=576 次乘加运算，而对应的权重数据量为 64×64×3×3=36,864 个浮点数。若采用 FP32 存储，则权重占用 147KB，这对嵌入式缓存（通常仅 32-512KB）构成了较大压力。

从计算图角度看，卷积层可拆解为“Im2Col + GEMM”或“Winograd”等不同实现策略。在量化部署时，卷积的输入输出张量范围（Min/Max）是确定激活量化参数的关键依据。例如，若某层输出激活值分布在 [-5.0, 5.0]，则量化尺度可设为 10/255≈0.0392（8-bit 量化）。

3.1.2 批归一化（BatchNorm）——训练与推理行为不一致的算子

BatchNorm 在训练时使用 mini-batch 的均值和方差进行归一化，并维护滑动平均的全局统计量。但在推理阶段，BN 被转换为一个线性变换：y = γ * (x - μ) / √(σ² + ε) + β。其中 γ（scale）、β（shift）、μ（均值）、σ²（方差）均为长度为 Cout 的向量。在部署时，BN 通常被“折叠”进前一个卷积层，以减少计算图节点数。折叠公式为：

# BN 折叠到 Conv 的权重和偏置
w_folded = w * (γ / √(σ² + ε))
b_folded = (b - μ) * (γ / √(σ² + ε)) + β

折叠后，推理计算图中不再存在独立的 BN 节点，这既减少了内存访问，也避免了量化时对 BN 参数的额外处理。但需要注意的是，剪枝时必须同步处理 BN 的 γ 和 β——若剪掉某个通道，则对应通道的 γ、β、μ、σ² 必须一并删除，否则会导致计算图维度不匹配。

3.1.3 激活函数（ReLU）——零参数但影响量化范围

ReLU 是 CNN 中最常用的激活函数，其数学形式为 max(0, x)。它不包含任何可训练参数，但在量化部署中扮演着重要角色：ReLU 的输出范围天然为 [0, +∞)，这决定了激活值量化时不需要考虑负半轴，从而可以充分利用 8-bit 无符号整数的表示范围（0-255）。在嵌入式部署中，ReLU 通常与 Conv 或 BN 融合为一个算子（如 Conv+ReLU 融合），以减少内核启动开销和中间张量的内存写回。

3.1.4 全连接层（FC）——参数密集但计算密度低

全连接层的权重形状为 [Cin, Cout]，它将输入特征图展平为一维向量后做矩阵乘法。FC 层的参数量往往占整个模型的很大比例（例如 VGG16 的 FC 层占参数量约 80%），但其计算量远低于卷积层。在嵌入式部署中，FC 层通常位于网络末端，对量化误差的敏感度较高——因为 FC 的输入是前面所有层特征的“浓缩”，任何量化噪声都可能被放大。因此，在混合精度量化方案中，FC 层往往保留 FP16 或更高精度。

3.2 模型计算图与参数表示

计算图（Computational Graph）是描述模型前向推理过程的拓扑结构，其中节点（Node）代表算子，边（Edge）代表张量流动。在部署工具链中（如 ONNX Runtime、TensorRT、TFLite），计算图是模型转换、优化和代码生成的基础。参数表示则决定了模型文件的大小、内存占用和访问效率。

3.2.1 计算图的存储格式与拓扑排序

主流框架（PyTorch、TensorFlow）在导出模型时，会将其序列化为计算图描述文件。以 ONNX 为例，每个节点包含 op_type（算子类型）、inputs（输入张量名列表）、outputs（输出张量名列表）和 attribute（算子属性，如卷积的 stride、padding）。部署引擎会先对计算图做拓扑排序，确保每个节点的输入在其执行前已被计算。对于嵌入式部署，计算图的“深度”和“宽度”会影响内存规划——深度越大，中间张量生命周期越长；宽度越大，并行度越高。

3.2.2 参数张量的内存布局

参数张量在内存中的排列方式直接影响访存效率。在嵌入式平台（如 ARM Cortex-A 系列、NPU）上，通常采用 NHWC 或 NCHW 布局。NCHW 适合 GPU 的矩阵运算，但嵌入式 CPU 上 NHWC 往往更友好，因为通道维度的连续存储有利于 SIMD 向量化。此外，参数的“对齐”也至关重要——许多 NPU 要求权重按 16 字节或 64 字节对齐，否则会导致加载效率下降。

3.3 案例拆解：MobileNetV1 基本块的计算图与参数分析

我们以 MobileNetV1 的深度可分离卷积块为例，展示如何从计算图视角分析参数与计算量。该块包含两个卷积：深度卷积（Depthwise Conv）和逐点卷积（Pointwise Conv，即 1×1 Conv）。假设输入张量为 [1, 32, 112, 112]（NCHW），深度卷积的核为 3×3，输出通道仍为 32；逐点卷积将通道从 32 扩展到 64。

初始现象与目标：在部署到 Cortex-M7 平台时，发现模型推理延迟为 850ms，远超 200ms 的实时性要求。通过 Profiling 发现，深度卷积耗时占比 45%，逐点卷积耗时占比 38%。

分析过程：深度卷积的参数量仅为 32×3×3=288，但计算量为 32×112×112×3×3=3.6M MACs。由于深度卷积的通道间无交互，其计算密度低，访存开销占比高。逐点卷积的参数量为 32×64×1×1=2,048，计算量为 32×64×112×112=25.7M MACs，是计算主力。

优化操作：

1. 将深度卷积与逐点卷积之间的 ReLU 融合到逐点卷积中，减少一次中间张量的内存写回（节省约 112×112×32×4=1.6MB 的 DRAM 访问）。
2. 对逐点卷积的权重进行 8-bit 量化，权重从 FP32 的 8KB 降至 2KB，缓存命中率提升约 30%。
3. 对深度卷积的 32 个通道进行剪枝，保留其中 24 个对最终精度影响最小的通道（通过 γ 值排序），计算量降低 25%。

结果对比：优化后推理延迟降至 210ms，精度损失仅 0.3%（Top-1 从 70.2% 降至 69.9%）。若进一步将逐点卷积的激活量化范围从 [-6.0, 6.0] 裁剪为 [-4.0, 4.0]（通过校准集统计），延迟可降至 185ms，但精度损失增至 0.8%。

风险与复盘：剪枝深度卷积通道时，需注意后续逐点卷积的输入通道数必须同步调整，否则计算图维度不匹配。此外，量化范围的裁剪需谨慎——过度裁剪会导致激活值饱和，在嵌入式平台上表现为“死节点”（输出恒为 0）。

3.4 常见误区与总结复盘

在模型基础结构理解上，初学者常犯以下错误：

• 混淆训练与推理的 BN 行为：训练时 BN 依赖 batch 统计量，推理时必须使用全局统计量。若直接导出训练模型而不做 BN 折叠，推理结果可能完全错误。
• 忽略张量布局对性能的影响：在嵌入式平台上，NCHW 与 NHWC 的性能差异可达 2-3 倍。例如，在 ARM CPU 上使用 NHWC 布局配合 NEON 指令，可显著提升数据复用率。
• 剪枝后未同步调整后续层：通道剪枝后，后续 Conv 或 FC 的输入通道数必须相应减少，否则模型加载会报维度错误。建议使用结构化剪枝工具（如 PyTorch 的 torch.nn.utils.prune）自动处理。
• 量化时忽略 ReLU 的截断效应：ReLU 输出非负，但若量化时仍使用对称量化（即包含负半轴），则浪费了一半的量化表示范围。应使用非对称量化（zero-point 量化）来充分利用 8-bit 表示。

总结：本章从 CNN 的四大核心算子出发，梳理了其参数形状、计算特性与部署要点。计算图是模型优化的“地图”，参数表示是优化的“对象”。理解 Conv 的权重布局、BN 的折叠方法、ReLU 的量化影响以及 FC 的精度敏感性，是后续进行量化误差分析、通道剪枝和算子融合的基础。在下一阶段，我们将基于这些基础，深入探讨如何将 FP32 模型转换为 INT8 定点模型，并控制精度损失。