3、MCU计算资源约束：MCU的算力、内存、功耗限制，以及这些约束对卷积算子实现的影响

在嵌入式深度学习部署中，MCU（微控制器）与桌面GPU或移动端NPU的差异是本质性的。Conv2D算子在MCU上的执行路径，并非简单地将TensorFlow代码“交叉编译”到单片机，而是要在极端受限的硬件条件下重新设计数据流、循环结构和内存布局。理解MCU的算力（主频与MAC能力）、内存（Flash与SRAM的容量与带宽）以及功耗（峰值电流与能量预算）这三重约束，是掌握TFLite Micro卷积算子优化逻辑的前提。本章将深入剖析这些硬性边界，并揭示它们如何从底层决定算子的实现策略。

上图展示了MCU三大资源约束与Conv2D算子实现之间的核心逻辑关系。算力决定计算吞吐上限，内存决定数据存放方式，功耗决定运行模式与优化目标。三者相互耦合，例如：为了降低功耗而降低主频，会直接导致算力下降；为了节省SRAM而将权重放在Flash中，又会增加读取延迟和功耗。因此，TFLite Micro的算子内核设计，本质上是在这三者之间寻找帕累托最优解。

3.1 算力约束：MAC吞吐量与卷积计算密度

核心原理：MCU的算力由主频（通常为16MHz至240MHz）和每个时钟周期能完成的乘累加操作数（MAC/cycle）共同决定。以ARM Cortex-M4为例，其单周期MAC指令可完成一次16位乘加；而Cortex-M7或带有DSP扩展的RISC-V内核，可能支持SIMD（单指令多数据）实现双MAC/cycle。Conv2D的计算量公式为：MACs = O_h × O_w × C_in × C_out × K_h × K_w。一个典型的300×300×3输入、16个3×3卷积核的层，就需要约3800万次MAC。在80MHz主频、单MAC/cycle的MCU上，理论耗时约0.48秒，但实际因循环开销、内存访问冲突，通常需要1~2秒。

判断方法与瓶颈分析：评估算力是否成为瓶颈，不能只看峰值。需要计算计算密度（Arithmetic Intensity），即每字节数据访问对应的计算量。若计算密度低（如1×1卷积），内存带宽会成为实际瓶颈；若计算密度高（如7×7卷积），则算力利用率更关键。实操中，可通过以下步骤判断：

1. 统计模型各层的MACs总量，估算理论计算时间 T_calc = MACs / (主频 × MAC_per_cycle)。
2. 统计各层输入、输出、权重的字节数，估算内存访问时间 T_mem = 总字节数 / 总线带宽。
3. 对比 T_calc 与 T_mem，较大者即为瓶颈。

3.2 内存约束：SRAM容量与Flash读取的权衡

核心原理：MCU的内存分为Flash（非易失，存储代码和常量权重）和SRAM（易失，存储运行时数据）。Conv2D算子运行时，需要同时存放输入特征图、输出特征图、权重和中间缓冲区。以8位量化模型为例，一个输入通道为32、输出通道为32、特征图尺寸为32×32的卷积层，其输入激活为32KB，输出激活为32KB，权重为32×32×9=9KB，总计约73KB。这已经接近许多中低端MCU的SRAM上限（如STM32L4系列为128KB）。因此，内存复用是算子实现的核心策略：输出特征图的内存可以覆盖输入特征图（当步长允许时），权重则直接映射到Flash地址空间，避免拷贝。

操作流程：内存规划与分段计算

• 步骤1：分析模型各层的张量维度，计算每层所需的SRAM峰值。
• 步骤2：确定哪些张量可以原地操作（in-place），哪些必须分配新内存。
• 步骤3：若峰值超出SRAM，则对输入特征图进行行分段（Row Tiling）或通道分段（Channel Tiling），每次只计算一个子块。
• 步骤4：权重存储于Flash，利用MCU的指令缓存（I-Cache）或数据缓存（D-Cache）减少重复读取延迟。

3.3 功耗约束：能量预算与低功耗调度

核心原理：MCU的功耗由动态功耗（P_dyn = C × V² × f）和静态功耗（漏电流）组成。在电池供电的IoT设备中，Conv2D推理的功耗直接影响设备续航。例如，一颗CR2032纽扣电池容量约220mAh，若设备平均工作电流为10mA，则只能工作22小时。因此，算子实现不仅要快，还要省电。降低功耗的途径包括：降低主频（但会增加计算时间，总能量可能不变）、使用DMA搬运数据（减少CPU活跃时间）、在等待外设时进入睡眠模式、以及减少Flash访问次数（因为Flash读取的功耗远高于SRAM）。

判断方法与设计决策：功耗优化需要权衡“计算时间”与“平均电流”。一个关键指标是能量消耗（Energy = 功率 × 时间）。例如，以80MHz运行10ms消耗的功耗为20mW，总能量为0.2mJ；以160MHz运行5ms，功耗为40mW，总能量同样为0.2mJ。因此，单纯提高主频并不一定增加总能耗，但会提高峰值电流，可能超出电池的放电能力。实际设计中，更倾向于采用动态电压频率调整（DVFS）：在计算密集阶段使用高频，在等待DMA或外设时降频并进入睡眠。

3.4 三重约束下的算子实现综合策略

核心原理：Conv2D算子在MCU上的实现，必须同时满足算力、内存、功耗的约束。这导致TFLite Micro的参考内核（如conv.cc）采用了一系列特定设计：

• 循环重排序（Loop Reordering）：将输出通道循环置于最内层，使得权重读取连续，且输出累加器能驻留寄存器。
• 隐式Im2Col（Implicit Im2Col）：不显式构建Im2Col矩阵（会消耗大量SRAM），而是在计算时直接通过指针偏移访问输入像素，以计算换内存。
• 分段累加（Chunked Accumulation）：当累加器（int32）数量超过寄存器可用数时，将输出通道分组计算，每组完成后立即写入SRAM，避免中间结果溢出。
• Flash权重映射：权重数组使用const声明，链接到Flash地址，利用MCU的预取缓冲区（Prefetch Buffer）实现顺序读取。

操作流程：从模型到MCU的部署决策树

1. 第一步：评估模型总MACs与峰值SRAM需求。若MACs > 1000万且SRAM > 256KB，考虑使用Cortex-M7或更高性能内核。
2. 第二步：若SRAM不足，优先采用8位量化（减少4倍内存），再考虑通道分段。
3. 第三步：若功耗敏感（电池容量 < 500mAh），则需设计“推理-睡眠”调度，并优化Flash访问模式。
4. 第四步：使用TFLite Micro的Benchmark工具测量每层耗时与内存峰值，定位瓶颈层。