4、TinyML推理流程：模型加载、预处理、推理计算、后处理各阶段的功耗特征
TinyML设备的功耗瓶颈往往不是均匀分布在推理全流程中的，而是集中在某个特定阶段。许多开发者习惯用整机平均功耗来评估模型效率，却忽略了模型加载、预处理、推理计算、后处理这四个阶段在电流波形、持续时间、峰值功率上的巨大差异。本章将逐阶段拆解功耗特征，帮助你在 profiling 时快速定位真正的耗电元凶。
4.1 模型加载阶段：被低估的启动尖峰
模型加载是推理流程的起点，通常发生在设备启动或首次推理时。此阶段的核心任务包括：从 Flash 或外部存储读取模型文件、解析权重数据、在 RAM 中分配张量缓冲区、初始化算子内核参数。对于 TinyML 场景，模型大小通常在 10KB 到 500KB 之间，看似微不足道，但加载过程的功耗特征却具有明显的"短时尖峰"特性。
核心原理：Flash 读取与内存初始化的能耗模型
模型加载的功耗主要由三部分构成：Flash 读取功耗（通常为 5-15mA，取决于 SPI/QSPI 接口速率）、RAM 写入功耗（约 3-8mA）、CPU 解析功耗（约 5-20mA，取决于反序列化复杂度）。当三者叠加时，瞬时电流可达到正常运行电流的 2-3 倍。尤其需要注意的是，如果模型存储在外部 SPI Flash 中，读取功耗会显著高于内部 Flash；而如果使用内存映射（Memory-Mapped）方式，则能避免显式的数据搬运，降低峰值电流。
判断方法：如何识别加载阶段的功耗异常
- 电流波形观察：使用高采样率（≥10kHz）的电流探头，观察上电后第一个 10ms 内的电流波形。正常情况应呈现"窄尖峰+快速回落"形态，若尖峰持续时间超过 20ms，说明加载逻辑存在低效循环或冗余拷贝。
- Flash 读取效率检查：通过调试日志记录模型加载耗时。若加载时间超过理论值（模型大小/Flash 读取速率），则可能存在逐字节读取而非块读取的问题。
- 内存分配策略审查：检查是否在加载过程中反复调用 malloc/free，导致堆碎片化和额外功耗。
案例拆解：SPI Flash 读取优化
某智能门锁项目使用外部 SPI Flash 存储 200KB 的语音识别模型，初始加载耗时 45ms，峰值电流达到 38mA。通过逻辑分析仪发现，代码使用单字节读取指令（0x03）逐字节搬运数据，效率极低。优化方案：改用 Fast Read（0x0B）指令，每次读取 32 字节块，并启用 DMA 传输。优化后加载时间降至 12ms，峰值电流降至 22mA，启动阶段能耗降低约 60%。
4.2 预处理阶段：外设功耗与计算功耗的博弈
预处理阶段负责将原始传感器数据转换为模型可接受的输入张量。这一阶段看似简单，却常常成为功耗 profiling 的盲区。其功耗特征表现为外设主导、CPU 辅助：传感器采样、DMA 传输、数据格式转换并行进行，功耗曲线呈现"平台型"特征，持续时间从几毫秒到几十毫秒不等。
核心原理：预处理功耗的组成与权衡
预处理功耗 = 传感器功耗 + DMA 传输功耗 + CPU 计算功耗 + 内存读写功耗。以图像分类任务为例，若输入为 96×96×3 的 RGB 图像，预处理需要完成：从摄像头读取数据（约 5-15mA）、将 uint8 转换为 float32（CPU 密集操作，约 8-20mA）、执行归一化（涉及除法运算，约 3-8mA）。如果使用硬件加速器（如 CMSIS-NN 中的预处理函数），CPU 功耗可降低 40%，但会增加额外的外设调用开销。
操作流程：预处理功耗的 profiling 步骤
- 使用电流探头记录从传感器触发到推理开始前的完整电流波形。
- 分别测量传感器单独工作、DMA 传输单独工作、CPU 执行格式转换时的电流基线。
- 对比不同预处理实现（逐像素处理 vs 批量处理 vs 硬件加速）的功耗-延迟乘积。
- 检查是否存在不必要的内存拷贝（如从传感器缓冲区拷贝到中间缓冲区再拷贝到输入张量）。
| 预处理操作 | 典型功耗(mA) | 持续时间(ms) | 优化建议 |
|---|---|---|---|
| 传感器采样(麦克风) | 3-8 | 10-30 | 降低采样率或使用 PDM 硬件滤波 |
| DMA 数据传输 | 2-5 | 1-5 | 使用双缓冲避免 CPU 等待 |
| uint8→float32 转换 | 8-20 | 2-10 | 使用查表法或定点化推理 |
| 归一化/标准化 | 3-8 | 1-4 | 融合到卷积层中计算 |
4.3 推理计算阶段：能耗主战场的精细化管理
推理计算是 TinyML 推理流程中功耗占比最大的阶段，通常占据全流程能耗的 70-90%。这一阶段的功耗特征为持续高功耗平台，电流波动相对平稳，但绝对值很高。对于 Cortex-M 系列内核，运行 8 位整数推理时，CPU 电流通常在 15-35mA 之间；若使用浮点运算，电流可再增加 30-50%。
核心原理：MAC 运算与内存访问的能耗分解
推理计算的功耗主要由三部分构成：计算单元功耗（MAC 运算、激活函数）、内存访问功耗（权重读取、中间特征图读写）、控制逻辑功耗（循环控制、地址计算）。其中，内存访问功耗往往被低估——在 32 位 MCU 上，一次 SRAM 读取的能耗约等于 4-8 次 MAC 运算的能耗。因此，优化内存访问模式（如使用环形缓冲区、权重重排）比单纯优化计算指令更能降低功耗。
判断方法：定位推理计算中的功耗热点
- 算子级 profiling：使用硬件性能计数器（如 DWT->CYCCNT）统计各算子的 CPU 周期数，结合电流采样数据，计算每个算子的能耗占比。
- 内存访问分析：通过 Cache 命中率或 SRAM 访问次数统计，判断是否存在频繁的越界访问或重复加载。
- 电压-频率调节：尝试降低 CPU 频率（如从 80MHz 降至 40MHz），观察功耗变化。若功耗下降不明显，说明功耗主要由内存访问主导而非 CPU 计算主导。
// 使用 DWT 计数器进行算子级 profiling 示例
DWT->CTRL |= DWT_CTRL_CYCCNTENA_Msk;
uint32_t start = DWT->CYCCNT;
// 执行卷积算子
conv2d(input, weight, output, ...);
uint32_t cycles = DWT->CYCCNT - start;
// 结合电流采样数据计算能耗
float energy_mj = (average_current_ma * 3.3 * cycles) / (cpu_freq_mhz * 1000);案例拆解：深度可分离卷积的功耗优化
某可穿戴设备使用 MobileNetV1 进行人体活动识别，模型含 28 个深度可分离卷积层。初始推理功耗为 28mA，持续 35ms。通过算子级 profiling 发现，深度卷积（Depthwise Conv）虽然计算量小，但内存访问频繁，占用了 45% 的推理时间。优化方案：将深度卷积的权重从 3×3 重排为 1×9 的连续存储格式，减少内存访问次数；同时将逐点卷积（Pointwise Conv）的输入特征图进行通道重排，提高 Cache 命中率。优化后推理功耗降至 21mA，时间缩短至 22ms，能耗降低约 40%。
4.4 后处理阶段：外设突发的功耗陷阱
后处理阶段包括 Softmax 计算、阈值判断、结果编码以及外设输出（如 LED 指示、无线发送、屏幕刷新）。这一阶段的功耗特征为外设突发型：CPU 计算功耗较低（约 3-8mA），但外设操作可能产生极高的瞬时电流。例如，BLE 广播的峰值电流可达 20-40mA，LoRa 发送时甚至可达 100-150mA。
核心原理：后处理功耗的外设主导特性
后处理阶段的功耗 = 结果计算功耗 + 外设驱动功耗 + 通信功耗。对于大多数 TinyML 应用，结果计算（如 Softmax）仅需 0.1-1ms，功耗可忽略；但外设输出（尤其是无线通信）的功耗往往比推理计算本身还要高。以 BLE 为例，一次 20 字节的数据发送需要约 2ms，平均电流 15mA，但若考虑协议栈开销和重传机制，实际能耗可能增加 3-5 倍。
操作流程：后处理功耗的优化策略
- 结果压缩：将浮点概率值量化为 uint8 或使用 Top-K 稀疏表示，减少发送数据量。
- 外设调度：将无线发送安排在推理完成后立即执行，避免外设长时间处于空闲监听状态。
- 低功耗模式切换：后处理完成后，立即将 MCU 切换到睡眠模式，仅保留必要的唤醒定时器。
- 事件驱动：仅在检测到显著结果变化时才触发外设输出，避免周期性无意义发送。
常见误区与总结复盘
在 TinyML 推理流程的功耗 profiling 中，常见的误区包括：误区一，将模型加载功耗与推理功耗混为一谈，导致对推理效率的误判；误区二，忽略预处理阶段的外设功耗，认为传感器数据读取"免费"；误区三，只关注推理计算的 CPU 功耗，而忽视内存访问的能耗贡献；误区四，后处理阶段未考虑外设的峰值电流，导致电源设计余量不足。
总结而言，TinyML 推理流程的功耗 profiling 应遵循"分阶段测量、按特征分析、针对性优化"的原则。模型加载阶段关注启动尖峰，预处理阶段平衡外设与计算，推理计算阶段聚焦内存访问优化，后处理阶段重视外设调度。只有将四个阶段的功耗特征分别量化，才能准确识别瓶颈，制定有效的优化策略。