嵌入式神经网络基础：卷积、全连接、激活函数、池化等算子在MCU上的实现挑战

在MCU（微控制器）上部署神经网络，与在服务器GPU或桌面CPU上运行推理有着本质区别。MCU通常只有几十到几百KB的RAM、几MB的Flash，主频在几十到几百MHz之间，且没有硬件乘法器阵列或SIMD指令集（部分Cortex-M4/M7支持基础SIMD）。这意味着，神经网络中的每一个基础算子——卷积、全连接、激活函数、池化——都需要针对资源受限、算力有限、内存带宽窄的环境重新设计。本章将深入剖析这些算子在MCU上的数学本质、实现难点以及CMSIS-NN框架下的优化思路，为后续的int8 kernel性能测试与调优打下理论基础。

核心原理：从浮点到int8的量化与算子本质

在MCU上，我们几乎不可能直接运行float32的神经网络模型。一个典型的MobileNetV1模型，float32权重约16MB，远超多数MCU的Flash容量。因此，int8量化是MCU部署的必由之路。int8量化将浮点数值映射到[-128, 127]的整数范围，映射公式为：q = round(r / scale) + zero_point，其中r为浮点值，scale为缩放因子（浮点），zero_point为整数零点偏移。CMSIS-NN采用对称量化（zero_point=0）或非对称量化，但为了简化硬件计算，通常使用对称量化。

卷积算子的本质是滑窗乘加。对于输出特征图的每个像素，需要执行输入通道数 × 卷积核高度 × 卷积核宽度次乘加运算。在MCU上，这不仅仅是计算量的问题，更是数据搬运的问题。例如，一个3×3卷积，输入特征图为32×32×16，输出为30×30×32，单次卷积需要3×3×16=144次乘加，整个输出需要30×30×32×144≈414万次乘加。如果每次乘加都从Flash读取权重、从RAM读取输入，内存带宽将成为绝对瓶颈。

全连接层本质是矩阵向量乘。它将输入特征向量（长度N）乘以权重矩阵（M×N），得到输出向量（长度M）。在MCU上，全连接层通常出现在网络的最后几层，参数量巨大，但计算密度相对较低。激活函数（ReLU、ReLU6、Sigmoid等）在浮点域中很简单，但在int8域中需要特殊处理。ReLU在int8中只需将负值截断为0，但ReLU6需要额外的比较操作。池化层（最大池化、平均池化）是下采样操作，计算量小，但涉及内存访问模式优化。

判断方法：识别MCU上的性能瓶颈与优化切入点

在MCU上实现算子时，我们需要通过几个关键指标来判断瓶颈所在：计算密度（Arithmetic Intensity）、内存带宽利用率和Flash访问延迟。计算密度定义为总运算次数 / 总数据搬运字节数。对于卷积层，如果计算密度低（例如1×1卷积），则瓶颈在内存带宽；如果计算密度高（例如7×7卷积），则瓶颈在计算单元。

一个实用的判断流程如下：

1. 估算计算量：计算每层MACs（乘加次数），与MCU的MACs/cycle能力对比。例如Cortex-M4F主频100MHz，支持单周期MAC，则理论峰值100MMACs/s。
2. 估算内存流量：计算每层输入、输出、权重的字节数，乘以访问次数，与总线带宽对比。
3. 比较两者：如果计算时间远大于内存访问时间，则优化计算循环；反之，则优化数据布局和缓存（或TCM）使用。
4. 检查量化误差：使用校准数据集统计每层激活值的动态范围，选择合适的scale，避免溢出。

案例拆解：3×3卷积在Cortex-M7上的实现与调优

我们以一个实际案例来展示挑战与优化过程。假设在STM32H743（Cortex-M7, 480MHz, 带TCM）上部署一个图像分类模型，第一层为3×3卷积，输入为64×64×3（RGB图像），输出为62×62×16，padding=0，stride=1。

初始性能数据：使用CMSIS-NN默认的arm_convolve_s8函数，未做特殊配置，测得单次推理该层耗时4.2ms。分析发现，主要耗时在数据加载和权重读取上。输入特征图3通道，但CMSIS-NN内部按4通道对齐（padding到4），导致内存浪费。权重矩阵为3×3×3×16=432字节，但每次滑窗都重新读取，Flash访问次数过多。

优化步骤：

1. 启用TCM：将输入特征图和输出特征图放置在DTCM（数据紧耦合内存）中，权重放置在ITCM或Flash加速器中，减少总线冲突。
2. 调整数据布局：将输入从CHW布局转换为NHWC布局（实际为HWC），使得同一像素的3个通道连续存储，便于一次加载多个通道。
3. 循环展开：将3×3卷积的内层循环展开，利用Cortex-M7的双发射流水线，同时执行两个乘加指令。
4. 使用SIMD：将int8数据成对打包为int16，使用SMLAD指令一次完成两个乘加。

优化后结果：单层耗时从4.2ms降至1.1ms，性能提升约3.8倍。进一步分析发现，此时计算单元利用率约为65%，剩余瓶颈在于输出特征图的写回操作。通过使用__STORE指令批量写回，最终降至0.9ms。

这个案例说明，MCU上的算子优化是一个系统性的工程，需要从内存层次、指令集、数据布局多个维度协同调整。CMSIS-NN提供了基础实现，但实际部署时仍需针对具体芯片微架构进行二次调优。

常见误区与总结复盘

在MCU上实现神经网络算子时，开发者常陷入以下误区：

• 误区一：只关注计算量，忽略内存访问。实际上，在MCU上，内存访问延迟往往是更主要的瓶颈。一个Flash读取可能需要几十个周期，而一次乘加仅需1个周期。
• 误区二：盲目使用im2col。im2col将卷积转化为矩阵乘，但会引入额外的内存开销（数据复制）。在内存极小的MCU上，可能直接导致RAM溢出。CMSIS-NN在通道数少时自动选择直接卷积，正是为了避免此问题。
• 误区三：忽略量化误差的累积。int8量化后，每层输出可能超出int8范围，需要正确的scale和zero_point。如果只做简单的min-max量化，可能导致精度大幅下降。建议使用逐通道量化（per-channel）对权重，逐张量量化（per-tensor）对激活。
• 误区四：不利用硬件特性。Cortex-M7的TCM、指令缓存、分支预测等特性对性能影响巨大。例如，将权重放在DTCM可以避免Flash等待状态，但DTCM容量有限，需要合理分配。