📚 课程目录第4章推理任务特征

4、推理任务特征：模型结构（CNN、RNN、Transformer）、算子类型、内存访问模式、计算强度

TinyML设备的功耗优化不能仅停留在硬件选型或量化精度层面，其根本驱动力在于对推理任务本身特征的精确刻画。同一颗MCU运行MobileNetV2与运行LSTM网络时，其功耗曲线、内存瓶颈和计算热点截然不同。本章将系统拆解推理任务的四个核心维度——模型结构、算子类型、内存访问模式与计算强度，并给出可量化的分析方法和工程判断路径，为后续功耗模型构建与调度策略设计奠定数据基础。

上图展示了推理任务特征分析的总体框架。四个维度并非孤立存在：模型结构决定了算子序列的宏观形态，算子类型直接映射到硬件执行单元，内存访问模式影响缓存命中率与总线功耗，而计算强度则是连接算法与硬件能力的桥梁。在TinyML场景下，SRAM容量通常仅为几十到几百KB，Flash为几MB，这使得内存访问模式往往比计算量本身更深刻地影响功耗。

4.1 模型结构：宏观拓扑决定功耗轮廓

核心原理

不同模型结构在TinyML设备上呈现出截然不同的功耗时间序列特征。CNN以卷积层为主，计算局部性强，数据复用率高，但层间特征图需要较大的中间缓冲区；RNN（包括LSTM/GRU）具有时间步循环依赖，计算量相对小但串行性强，且权重矩阵在每一步被重复加载，导致访存功耗占比突出；Transformer依赖自注意力机制，其核心是矩阵乘法（MatMul）和Softmax操作，计算强度高，但中间结果（Q/K/V矩阵）的存储需求对SRAM容量构成严峻挑战。

模型结构	典型算子序列	功耗主导因素	典型应用
CNN (MobileNetV2)	Conv→BN→ReLU6→DWConv→...→FC	MAC运算功耗 + 特征图访存	图像分类、关键词唤醒
RNN (LSTM)	MatMul→Sigmoid/Tanh→逐元素乘	权重反复加载 + 串行延迟	语音命令、传感器时序预测
Transformer (TinyBERT)	MatMul→Softmax→LayerNorm→FFN	大矩阵乘法 + 中间矩阵存储	关键词识别、意图分类

判断方法

工程上，我们通过结构特征提取来量化模型功耗轮廓：首先解析模型文件（如TFLite或ONNX），统计各层类型、输入/输出张量形状、参数量；然后计算层间数据流体积（即每层输出特征图大小），该值直接决定SRAM的分配压力；最后识别关键路径——即延迟最长或计算量最大的层序列，这些层通常是功耗优化的首要目标。

经验提醒：在Cortex-M4级别（无FPU加速）的MCU上，一个1D CNN层（kernel size=3, 64通道）处理256点输入，其功耗约为LSTM单元（hidden=64）的1.8倍，但延迟仅为后者的0.6倍。这意味着CNN适合批量处理，而LSTM适合低延迟流式场景。

案例拆解：关键词唤醒模型结构选型

某智能音箱项目需要在Cortex-M7（480MHz, 1MB SRAM）上实现唤醒词检测，候选模型为DS-CNN（深度可分离卷积）和CRNN（CNN+GRU）。初始目标：延迟<50ms，平均功耗<30mW。实测数据：DS-CNN推理延迟32ms，平均功耗26mW，但SRAM峰值占用达420KB；CRNN延迟45ms，功耗22mW，SRAM占用仅180KB。分析发现，DS-CNN的深度可分离卷积虽然计算量低，但每层特征图需要完整保存在SRAM中；而CRNN的GRU单元通过时间步复用权重，显著降低了中间存储。最终选择CRNN，并配合权重分块加载策略（每次仅加载一个时间步的权重），将SRAM峰值降至120KB，功耗降至19mW。此案例说明：模型结构的选择必须与硬件SRAM容量联合评估，不能只看FLOPs。

风险提示：Transformer结构在TinyML上需特别谨慎。即使使用TinyBERT（2层，hidden=128），其Q/K/V矩阵乘法中间结果（序列长度×hidden）在序列长度64时就需要64×128×2字节=16KB，加上FFN层，总中间存储可能超过50KB，对多数MCU而言过于紧张。若必须使用，建议采用窗口注意力或线性注意力近似。

4.2 算子类型：微观执行单元的功耗映射

核心原理

算子类型直接决定了硬件执行单元（MAC阵列、ALU、加载/存储单元）的活跃程度。在TinyML芯片中，MAC运算通常由专用的乘累加单元完成，其能量效率远高于通用ALU。例如，在STM32N6上，一次8位MAC运算消耗约0.2pJ，而一次32位ALU加法消耗约0.8pJ。因此，算子类型统计是功耗模型的基础输入。常见算子功耗特征如下：

卷积（Conv/DWConv）：计算密集，访存模式为滑动窗口，数据重用率高，适合DMA批量搬运。
全连接/MatMul：权重矩阵大，访存密集，需优化权重存储格式（如NHWC转NCHW）。
激活函数（ReLU/Sigmoid/Tanh）：计算量小，但Sigmoid/Tanh涉及指数运算，在无硬件加速时消耗大量CPU周期。
归一化（BatchNorm/LayerNorm）：需读取均值/方差参数，涉及乘加和除法，在量化模型中常被折叠到前一卷积层。
池化/Reshape：访存操作，计算量低，但可能引起缓存未命中。

判断方法

通过算子级Profiling工具（如STM32Cube.AI的层级分析、TensorFlow Lite Micro的benchmark）获取每个算子的执行周期数和能量消耗。关键指标包括：算子能量占比（某算子能耗/总能耗）、算子延迟占比、MAC利用率（实际MAC周期/总周期）。当MAC利用率低于50%时，说明访存或控制开销过大，需优化数据布局。

// 伪代码：算子级功耗采集示例
for each layer in model:
    start_cycles = DWT->CYCCNT;
    start_energy = read_energy_meter();  // 若硬件支持
    run_layer(layer);
    end_cycles = DWT->CYCCNT;
    end_energy = read_energy_meter();
    layer_cycles = end_cycles - start_cycles;
    layer_energy = end_energy - start_energy;
    printf("Layer %s: cycles=%d, energy=%.2f uJ\n", 
           layer.name, layer_cycles, layer_energy);

实战场景：量化感知的算子替换

某工业振动监测设备使用LSTM进行故障分类，发现Sigmoid激活函数占用总推理时间的23%，功耗占比18%。分析发现，Sigmoid在无硬件加速时需调用软件库的指数函数，消耗约120个周期/次。解决方案：将Sigmoid替换为Hard-Sigmoid（分段线性近似），精度损失仅0.3%，但激活函数周期降至12个周期/次，整体推理功耗降低14%。此案例表明，算子级别的替换优化往往比模型结构修改更直接有效。

总结复盘：算子类型分析的核心产出是算子-能量查找表。建议在目标硬件上建立包含Conv、MatMul、ReLU、Sigmoid、Pooling等常见算子的能量基准表（单位：pJ/次操作），并标注访存开销。该表是后续功耗模型预测的基础数据源。

4.3 内存访问模式：隐藏的功耗黑洞

核心原理

在TinyML设备中，访存功耗往往占总功耗的40%-60%，甚至超过计算功耗。原因在于：SRAM的访问能耗约为0.5-1pJ/bit，而Flash读取能耗更高（约2-4pJ/bit），且MCU内部总线翻转也会消耗动态功耗。内存访问模式主要分为三类：顺序访问（如逐元素遍历特征图）、随机访问（如Gather操作）、数据重用（如卷积滑动窗口）。顺序访问对缓存友好，功耗最低；随机访问导致缓存未命中，需反复访问主存，功耗飙升；数据重用则可通过寄存器或局部缓冲减少外部访存次数。

判断方法

通过访存轨迹分析（Memory Trace）统计以下指标：缓存命中率（若硬件有缓存）、DMA传输次数与字节数、SRAM写/读次数。在无缓存MCU上，重点分析数据复用距离——即同一数据两次访问之间间隔的指令数。复用距离越小，越适合放入寄存器或紧耦合SRAM。

访问模式	典型算子	功耗特征	优化方向
顺序流式	逐元素Add、ReLU	低功耗，总线利用率高	使用DMA双缓冲
滑动窗口	Conv2D	中等，行缓冲可优化	行缓冲+寄存器重排
随机索引	Embedding、Gather	高功耗，缓存命中率低	预取或重排索引
权重广播	全连接、LSTM	权重反复加载	权重驻留SRAM/Flash加速

案例拆解：LSTM权重加载优化

某可穿戴设备运行GRU网络（hidden=128，输入=32），权重矩阵大小为4×128×128×2字节=128KB，而MCU SRAM仅256KB。初始实现中，每个时间步从Flash加载全部权重，导致Flash读取功耗占总功耗的47%。优化方案：将权重矩阵按门控单元分块（更新门、重置门、候选隐藏状态），每次仅加载一个门的权重（32KB），并利用DMA在计算当前门时预取下一门权重。优化后，Flash读取次数减少75%，总功耗降低28%。关键参数：DMA传输块大小=32KB，双缓冲切换周期=2.1μs，与计算时间重叠，无额外延迟。

常见误区：不要盲目认为“减少FLOPs就能降低功耗”。在TinyML中，一个额外的Flash读取（约4pJ/bit）可能比一次MAC运算（约0.2pJ）贵20倍。因此，访存优化优先级应高于计算优化。

4.4 计算强度：连接算法与硬件的桥梁

核心原理

计算强度（Arithmetic Intensity, R）定义为总计算量（FLOPs）与总访存字节数（Bytes）的比值，即R = FLOPs / Bytes。该指标用于判断任务是计算密集还是访存密集。每个硬件平台存在一个拐点强度R₀（通常由MAC阵列吞吐率与内存带宽的比值决定）。当R > R₀时，任务受计算单元限制，应提高时钟频率或增加并行度；当R < R₀时，任务受内存带宽限制，应优化数据布局或降低频率以节省功耗。

判断方法

计算R值的步骤如下：

统计模型总FLOPs（可使用AI框架的profile工具）。
统计总访存字节数：包括权重读取、输入/输出特征图读写、中间结果存储。
计算R = FLOPs / Bytes。
查询硬件手册获取R₀（例如，STM32N6的MAC阵列峰值吞吐=8 GOPS，内存带宽=4 GB/s，则R₀=2 FLOPs/Byte）。
比较R与R₀，确定优化方向。

// 计算强度估算示例（Python伪代码）
def compute_intensity(model):
    flops = get_flops(model)  # 例如 12.5M FLOPs
    weight_bytes = get_weight_size(model)  # 例如 256KB
    activation_bytes = get_activation_size(model)  # 例如 128KB
    total_bytes = weight_bytes + activation_bytes * 2  # 读+写
    R = flops / total_bytes
    return R  # 单位：FLOPs/Byte

实战场景：DVFS调度策略制定

某智能摄像头运行MobileNetV2（R=8.2 FLOPs/Byte），硬件R₀=3.5。由于R > R₀，任务为计算密集。实测发现，当CPU频率从400MHz降至300MHz时，功耗从45mW降至28mW，但延迟仅从35ms增至42ms（增加20%）。这是因为计算密集任务在低频下MAC阵列利用率仍较高，而动态功耗与频率成正比。最终选择在电池电量低于20%时自动降频至300MHz，延长续航15%。反之，若任务为访存密集（R < R₀），降频会导致访存等待时间占比增大，延迟恶化明显，此时应保持高频但优化DMA传输。

核心结论：计算强度是功耗-延迟权衡的决策依据。在TinyML调度中，建议建立R值-频率-功耗三维查找表，根据实时电池状态和任务截止期动态调整频率。例如：当R>2×R₀时，优先降频；当R<0.5×R₀时，优先优化访存。

总结复盘

本章从四个维度建立了推理任务特征的完整画像。模型结构决定功耗轮廓的宏观形状，算子类型映射到具体执行单元的能量消耗，内存访问模式揭示访存功耗的微观机制，计算强度则提供统一的量化指标指导调度决策。在实际项目中，建议按以下流程操作：第一步，解析模型结构，生成层序列；第二步，对每层进行算子级Profiling，获取周期和能量；第三步，统计访存轨迹，计算缓存命中率和DMA效率；第四步，计算整体R值并与硬件R₀比较。这四步的输出将直接作为后续功耗模型（第5章）和调度优化（第6章）的输入参数。

工程清单：① 模型结构解析脚本（输出层类型/形状/参数量）；② 算子能量基准表（实测或估算）；③ 访存轨迹分析工具（统计读写次数）；④ 计算强度计算器（输入FLOPs和字节数，输出R值）。建议将以上工具集成到统一的Profiling框架中，实现自动化特征提取。