4、TinyML工作负载分析：识别典型TinyML模型在Cortex-M上的计算模式与功耗热点

TinyML模型部署在Cortex-M处理器上时，其功耗表现并非由单一因素决定，而是由模型结构、算子类型、数据流特征与硬件微架构共同作用的结果。要准确进行功耗评估与能耗换算，首先必须建立对典型TinyML工作负载的量化认知——即理解CNN、RNN、异常检测等模型在Cortex-M上具体执行了哪些计算、这些计算以何种模式访问存储器和外设、以及哪些环节构成了功耗热点。本章将系统拆解三类典型模型的算子构成、访存特征与计算密度，并给出功耗热点定位的方法论与实战案例。

4.1 CNN模型在Cortex-M上的计算模式与功耗特征

CNN（卷积神经网络）是TinyML中最常见的模型类型，广泛应用于关键词唤醒（KWS）、视觉识别、振动分析等场景。在Cortex-M处理器上，CNN的计算模式具有鲜明的层次化特征：每一层由卷积、激活、池化（可选）三个子操作串联，层与层之间通过特征图（Feature Map）传递数据。从功耗评估的角度，需要关注以下核心计算模式：

• 乘加运算（MAC）密集：卷积层本质上是高维乘加运算，Cortex-M4/M7/M33等内核支持单周期MAC指令（如SMLAD、UMAAL），但MAC吞吐率受限于寄存器数量和流水线设计。例如Cortex-M7在240MHz下可达到约480 MAC/cycle（利用SIMD），而Cortex-M4仅约1 MAC/cycle（非SIMD）。
• 权重驻留与复用：卷积核权重（Kernel Weights）在单层计算中被反复使用。若权重无法完全驻留在SRAM中，则需反复从Flash读取，产生显著的访存功耗。以3×3卷积核为例，若输入通道为32，则单层权重为288字节，通常可驻留SRAM；但若为深度可分离卷积的逐点卷积（1×1），权重可能达到数KB，需考虑Flash读取功耗。
• 输出特征图写回：每层卷积产生的输出特征图需要写回SRAM，供下一层读取。对于Cortex-M0+/M4等无Cache内核，每次写回和读取都直接访问SRAM，功耗与数据宽度和访问次数成正比。

下表总结了典型CNN层在Cortex-M4（无FPU、无SIMD）与Cortex-M7（有SIMD、可选双精度FPU）上的计算模式差异：

层类型	MAC/cycle (M4)	MAC/cycle (M7)	访存模式	功耗热点占比
标准卷积 3×3	1	2-4 (SIMD)	权重连续读取，输入滑动窗口	权重加载 40%，MAC 35%，写回 25%
深度可分离卷积	1	2	深度卷积权重小，逐点卷积权重大	逐点卷积权重加载 55%
池化层	0（无MAC）	0	纯访存，读取输入特征图	访存 90%，控制开销 10%
全连接层	1	2-4	权重矩阵大，需分块加载	权重加载 60%，MAC 30%

4.2 RNN模型的计算模式与功耗瓶颈

RNN（循环神经网络）在TinyML中用于时间序列预测、语音命令识别、传感器数据分类等。与CNN不同，RNN的核心计算模式是矩阵-向量乘（GEMV）而非矩阵-矩阵乘（GEMM），且存在时间步之间的状态依赖。在Cortex-M上，RNN的功耗热点呈现以下特征：

• 状态向量反复读写：LSTM/GRU在每个时间步需要更新隐藏状态（Hidden State）和细胞状态（Cell State），这些状态向量在SRAM中反复读写。例如，一个隐藏单元数为64的LSTM，状态向量为64×2字节（若用FP32）或64×1字节（若用INT8），每次时间步需读写多次，产生大量SRAM访问功耗。
• 激活函数计算开销：LSTM中的tanh和sigmoid激活函数在Cortex-M上通常通过查表或多项式逼近实现。查表法需要额外的Flash访问，多项式逼近则需要多次乘加运算。在无FPU的Cortex-M0+上，一次tanh计算可能需要50-100个周期，成为显著热点。
• 串行时间步限制：RNN的时间步必须串行执行，无法像CNN那样通过层间并行来隐藏访存延迟。这意味着在等待状态更新时，CPU可能处于空闲状态，但外设（如定时器、DMA）仍在运行，导致整体功耗效率下降。

RNN的功耗评估需要特别关注时间步间的能量分布。以一个隐藏单元数为32的GRU为例，每个时间步的计算包括：3个矩阵-向量乘（每个约32×32 MAC）、3个激活函数、若干逐元素操作。在Cortex-M4上，每个时间步约消耗2000-3000周期，其中矩阵乘占60%，激活函数占25%，状态更新占15%。若输入序列长度为100，则总周期数为20万-30万，在100MHz下耗时2-3ms，平均功耗约为CNN推理的1.5-2倍（因串行执行导致活跃周期占比高）。

4.3 异常检测模型的计算模式与功耗优化空间

异常检测在TinyML中常用于工业预测性维护、医疗健康监测、设备状态监控等。与CNN/RNN不同，异常检测模型通常基于距离计算、统计阈值或轻量级自编码器。其计算模式具有以下特点：

• 距离计算密集：基于k近邻（kNN）或孤立森林的模型需要计算样本与参考点之间的欧氏距离或曼哈顿距离。欧氏距离涉及平方、求和、开方运算，在无FPU的Cortex-M上，开方运算（sqrt）可能消耗100+周期，成为主要热点。
• 分支逻辑多：异常检测算法通常包含大量条件判断（如阈值比较、树节点遍历），导致分支预测失败率较高。Cortex-M系列的分支预测能力有限（M7有简单预测器，M0/M4无预测），分支失败惩罚为3-5个周期，累积起来不可忽视。
• 数据预处理占比高：异常检测往往需要实时采集传感器数据并进行归一化、滤波等预处理。这些操作虽然计算量小，但频率高（每次采样都执行），且涉及外设（ADC、DMA）交互，功耗占比可能达到30%-50%。

下表对比了三类模型在Cortex-M4（80MHz）上的典型功耗分布（基于实测数据）：

模型类型	总周期数	MAC运算占比	访存占比	控制/分支占比	外设交互占比
CNN（KWS，5层）	150,000	55%	30%	5%	10%
RNN（GRU，32单元）	250,000	45%	25%	10%	20%
异常检测（kNN，k=10）	80,000	20%	15%	35%	30%

4.4 功耗热点定位实战：以关键词唤醒CNN为例

下面通过一个完整的案例，演示如何在Cortex-M7上定位CNN模型的功耗热点并进行优化。该案例基于STM32F746（Cortex-M7，216MHz，1MB Flash，320KB SRAM），部署一个5层深度可分离卷积网络用于关键词唤醒（识别"Hey Mercury"）。

初始现象与目标：模型推理时间为8.2ms，平均功耗为45mW（核心电压1.2V，电流37.5mA）。目标是将推理时间降至5ms以内，功耗降至30mW以下。

关键输入数据：使用DWT->CYCCNT进行层间周期计数，结果如下：

Layer 1 (Conv3x3, 16ch): 1,850,000 cycles (占22.5%)
Layer 2 (DWConv3x3, 16ch): 2,100,000 cycles (占25.6%)
Layer 3 (PWConv1x1, 32ch): 2,450,000 cycles (占29.9%)
Layer 4 (DWConv3x3, 32ch): 1,200,000 cycles (占14.6%)
Layer 5 (FC, 10 classes): 600,000 cycles (占7.3%)
Total: 8,200,000 cycles @216MHz = 8.2ms

分析判断过程：Layer 3（逐点卷积）周期数最高，但MAC数仅为Layer 1的2倍，说明访存效率低。进一步使用ARM Cycle Counter的D-Cache miss事件（通过DWT->CTRL配置），发现Layer 3的D-Cache miss率达到45%，而Layer 1仅为15%。原因在于逐点卷积的权重矩阵（32×16×1×1=512字节）在每次迭代时被重新加载，且输入特征图（16×32×32）无法完全驻留Cache。

实际操作步骤：

1. 将Layer 3的权重矩阵重排为16×32（行主序），利用CMSIS-DSP的 arm_mat_mult_f32 进行分块矩阵乘，块大小设为8×8，以提升Cache命中率。
2. 将输入特征图从FP32转换为FP16（使用 arm_float_to_f16），减少一半的访存带宽。
3. 启用Cortex-M7的指令预取（Prefetch）和分支预测，减少控制开销。

结果对比：优化后Layer 3周期数降至1,100,000（降低55%），总推理时间降至5.1ms。功耗降至31mW（电流25.8mA），接近目标。进一步将Layer 2和Layer 4的深度卷积改为INT8量化（使用CMSIS-NN的 arm_depthwise_conv_s8），总周期数降至3.8ms，功耗降至24mW。

风险与代价：FP16转换引入了额外的精度损失（约0.5%准确率下降），INT8量化需要额外的校准数据集。此外，CMSIS-NN的INT8内核需要4字节对齐的权重布局，增加了Flash占用约15%。

复盘经验：功耗热点往往不在MAC运算本身，而在数据搬运。使用DWT周期计数结合Cache miss事件，可以快速定位访存瓶颈。对于Cortex-M7，充分利用其Cache和SIMD能力是降低功耗的关键；对于Cortex-M4/M0+，则需通过算子融合和权重重排来减少Flash访问。