2、嵌入式卷积基础：回顾标准卷积与深度可分离卷积的数学原理、计算量对比及在MCU上的瓶颈

在深入CMSIS-NN的优化实现之前，必须首先厘清两类卷积的数学本质与计算特征。标准卷积（Standard Convolution）与深度可分离卷积（Depthwise Separable Convolution）是嵌入式视觉任务中最核心的算子，二者的计算量差异可达一个数量级。本章将从数学定义出发，逐步拆解其计算图谱，并重点分析在ARM Cortex-M系列MCU上运行时，内存带宽、乘累加（MAC）效率与数据复用模式对性能的制约。理解这些瓶颈，是后续利用CMSIS-NN指令集加速、算子融合与内存重排的前提。

2.1 标准卷积的数学原理与计算图谱

标准卷积操作可视为一个滑窗加权求和过程。设输入特征图为 X，尺寸为 H×W×C（高、宽、通道数），卷积核尺寸为 K×K，输出通道数为 M，步长为 S，填充为 P。则输出特征图 Y 在空间位置 (i, j) 的第 m 个通道的值由以下公式给出：

Y[i][j][m] = bias[m] + Σ_{c=0}^{C-1} Σ_{u=0}^{K-1} Σ_{v=0}^{K-1} X[i*S + u - P][j*S + v - P][c] * W[m][u][v][c]

该公式揭示了标准卷积的四个关键特征：跨通道融合（每个输出像素聚合所有输入通道）、空间共享（同一卷积核滑过整个空间）、权重维度高（权重张量为 M×K×K×C）、计算密集。其总乘累加次数（MACs）为：

以一个典型嵌入式视觉任务为例：输入 32×32×32 特征图，使用 3×3 卷积核，输出 32 个通道，输出尺寸 32×32。则单层 MACs = 9 × 32 × 32 × 32 × 32 = 9,437,184 次乘加。在无硬件加速器的 MCU 上，若主频 100MHz，单周期完成一次 MAC，则需约 94ms——这已超出实时处理预算。因此，标准卷积在 MCU 上往往需要配合深度可分离结构或量化压缩才能落地。

2.2 深度可分离卷积：结构拆解与计算量对比

深度可分离卷积将标准卷积分解为两个阶段：深度卷积（Depthwise Conv）和逐点卷积（Pointwise Conv）。深度卷积对每个输入通道独立使用一个 K×K 的二维卷积核，不跨通道混合；逐点卷积则使用 1×1 卷积核在通道维度上进行线性组合。

• 深度卷积阶段：输入通道 C 个，每个通道配一个 K×K 核，输出仍为 C 个通道。MACs_dw = K² × C × H' × W'。
• 逐点卷积阶段：将深度卷积输出的 C 个通道映射到 M 个输出通道。MACs_pw = C × M × H' × W'。

总计算量为二者之和：MACs_ds = (K² + M) × C × H' × W'。对比标准卷积，计算量比值 r = MACs_ds / MACs_standard = (K² + M) / (K² × M)。当 M 较大时（例如 M=64），r ≈ 1/K²。对于 3×3 卷积，深度可分离结构可将计算量压缩至原来的 1/9 至 1/8。下表给出了具体数值对比：

卷积类型	MACs 公式	示例数值（C=32, M=64, K=3, H'=W'=32）	相对计算量
标准卷积	K²·C·M·H'·W'	9×32×64×1024 ≈ 18.87M	100%
深度可分离	(K²+M)·C·H'·W'	(9+64)×32×1024 ≈ 2.39M	12.7%
仅深度卷积	K²·C·H'·W'	9×32×1024 ≈ 0.29M	1.5%

值得注意的是，深度可分离卷积虽然大幅减少了计算量，但并未减少内存访问量。深度卷积阶段需要读取全部输入特征图并写回中间结果，逐点卷积再读取该中间结果。这种“两次遍历”模式在 MCU 上可能引入额外的 SRAM 带宽压力，因此实际加速比往往低于理论值。

2.3 MCU 上的计算瓶颈：内存、MAC效率与数据布局

在 ARM Cortex-M 系列处理器上，卷积算子的性能受三个硬性因素制约。首先是乘累加指令效率：Cortex-M4/M7 支持单周期 MAC（如 MLA 指令），但一次只能处理一个 32 位乘加；Cortex-M33 支持可选的 DSP 扩展，但依然缺乏 SIMD 浮点加速。这意味着每秒钟能执行的 MAC 数上限 = 主频 × 1（无流水线停顿的理想情况）。

其次是内存带宽瓶颈。MCU 的 SRAM 通常只有 256KB~1MB，且总线位宽为 32 位或 64 位。以 8 位量化数据为例，一次 32 位总线访问可加载 4 个激活值，但若数据布局为 CHW（通道-高度-宽度），则同一行的相邻像素在内存中不连续，导致无法利用单次加载。CMSIS-NN 推荐使用 HWC 布局（高度-宽度-通道），使得同一空间位置的通道数据连续存储，便于向量化加载。

第三是数据复用不足。标准卷积中，每个输入像素会被多个输出通道的卷积核重复使用。若在 MCU 上采用简单的滑窗实现，每次计算一个输出像素都需要重新从 SRAM 读取输入块，导致大量冗余访问。CMSIS-NN 的 im2col 方法虽然将卷积转化为矩阵乘法以提升复用，但会引入 2~3 倍的内存膨胀，在资源受限时需谨慎权衡。

2.4 案例拆解：8位量化 MobileNet 第一层在 STM32F746 上的瓶颈定位

假设我们在一款基于 STM32F746（Cortex-M7, 216MHz, 320KB SRAM）的设备上部署 MobileNetV1 的第一层（标准 3×3 卷积，输入 224×224×3，输出 112×112×32）。初始实现采用 Naive 滑窗，发现单帧推理耗时 380ms，远超 30ms 的预算。通过分析定位到以下瓶颈：

1. 内存访问分析：输入特征图 224×224×3 = 150KB（8位），权重 3×3×3×32 = 864B。每次输出像素需读取 27 个输入值，但相邻输出像素的输入窗口重叠 2/3，实际有效数据复用率仅 1.5 倍，而理论应为 9 倍。
2. MAC 效率：使用 -O3 编译后，反汇编显示 MLA 指令后存在 2 个周期的加载停顿（LDR 后立即使用），导致实际 MAC 利用率仅 33%。
3. 量化开销：每完成一次 8 位乘加，需要执行 4 条指令完成反量化（读取 scale、乘法、移位、累加），额外增加了 300% 的指令开销。

针对上述问题，我们进行了三步优化：第一，将输入布局从 CHW 转为 HWC，使得同一像素的 3 个通道连续存储，单次 LDR 可加载 3 字节（配合 LDRB 指令）；第二，采用 CMSIS-NN 的 arm_convolve_HWC_q7_RGB 函数，该函数针对 RGB 输入做了专门优化，利用 16 位累加器减少中间溢出；第三，将量化参数预先计算为定点格式，避免运行时浮点运算。优化后单层耗时降至 42ms，虽然仍超预算，但已为后续深度可分离卷积替换赢得了空间。最终将第一层替换为深度可分离结构后，耗时进一步降至 11ms，满足实时性要求。

2.5 常见误区与设计复盘

在嵌入式卷积优化实践中，工程师常陷入以下误区：误区一，认为计算量（MACs）是唯一性能指标。实际上，在 MCU 上内存访问延迟往往比计算延迟更致命。一个 MAC 需要 1 周期，但一次 SRAM 加载可能需要 2~3 周期（含地址计算和流水线停顿）。误区二，盲目使用 im2col。虽然 im2col 能提升数据复用，但产生的中间矩阵可能超出 SRAM 容量，导致频繁的 DMA 搬运或溢出到外部 Flash，反而降低性能。误区三，忽略量化参数的计算开销。8 位卷积的乘加本身很快，但每输出一个像素都需要进行 scale 和 zero-point 的逆变换，若未提前融合到累加器中，会产生大量额外指令。

正确的设计流程应当是：首先明确 MCU 的 SRAM 容量和总线位宽，然后选择合适的数据布局（HWC 优先），接着评估是否需要分块（tiling）以适配 SRAM，最后才考虑指令级优化。对于深度可分离卷积，尤其要注意深度卷积阶段的内存访问模式——由于每个通道独立计算，无法利用跨通道数据复用，因此应尽量将多个通道的权重和输入加载到寄存器中同时处理，这正是 CMSIS-NN 中 arm_depthwise_separable_conv_HWC_q7 函数的核心优化点。