2、TinyML基础：微控制器与边缘设备、典型TinyML模型（MobileNet、TinyMLPerf）、推理流程
TinyML（微型机器学习）的核心命题，是在功耗、内存、算力都极度受限的微控制器（MCU）和边缘设备上，部署并运行机器学习推理任务。理解这一层基础，是后续进行功耗分析与性能剖析（Profiling）的前提。本章将围绕三个关键维度展开：微控制器与边缘设备的硬件特性、典型TinyML模型（以MobileNet和TinyMLPerf基准为代表）的架构特点，以及一次完整推理流程中的数据与指令流转路径。只有将硬件资源边界、模型计算特征与推理执行过程三者对应起来，才能准确判断功耗瓶颈究竟出现在内存访问、计算单元还是外设通信上。
上图展示了TinyML系统的三层架构。硬件层决定了功耗与性能的物理上限，模型层决定了计算量与内存占用的理论需求，而推理执行层则是两者交互的桥梁。在实际功耗分析中，我们往往需要同时关注这三层：硬件层的时钟频率与电压调节、模型层的算子类型与数据复用模式、执行层的内存访问次数与总线仲裁延迟。下面逐一深入。
2.1 微控制器与边缘设备的硬件特性
核心原理：MCU的资源边界与功耗模型
与桌面级CPU或移动SoC不同，微控制器（MCU）的设计目标是在极低功耗下提供确定性的实时响应。典型的TinyML目标设备包括ARM Cortex-M0+/M4/M7系列、RISC-V内核MCU，以及带有硬件加速器的SoC（如NXP i.MX RT系列、ST STM32N6）。这些设备的共同特点是：SRAM容量通常在几十KB到几MB之间，Flash在256KB到2MB之间，主频在几十MHz到几百MHz之间。以STM32F746（Cortex-M7, 216MHz）为例，其内置SRAM为320KB，Flash为1MB，在运行MobileNetV1（alpha=0.25, 输入96x96x3）时，模型权重约1.3MB，必须存储在外部Flash或使用模型压缩技术。
功耗模型方面，MCU的功耗主要由三部分构成：动态功耗（与频率和电压平方成正比）、静态漏电功耗（与温度相关）以及外设功耗（传感器、通信模块）。在TinyML推理中，动态功耗占主导，因为大量的乘累加运算（MAC）会触发频繁的寄存器翻转和内存访问。例如，Cortex-M4内核在100MHz下运行CMSIS-NN优化的卷积层，其功耗约为20-40mW（不含外设），而进入Sleep模式后功耗可降至10µA以下。因此，推理功耗优化的核心策略之一就是“快跑快睡”（Race to Sleep）——尽可能缩短活跃时间，然后迅速进入低功耗状态。
判断方法：如何评估硬件是否适合TinyML
评估一款MCU是否适合承载特定TinyML模型，需要从以下四个维度进行量化判断：
| 评估维度 | 关键指标 | 典型阈值 | 评估方法 |
|---|---|---|---|
| 内存容量 | SRAM + Flash | 模型权重+激活值 ≤ 可用内存的80% | 使用模型分析工具（如Netron）统计参数量与中间张量大小 |
| 算力峰值 | MACs/s（乘累加每秒） | 推理延迟要求 ÷ 总MACs ≤ 0.8 | 计算模型总MACs，除以目标帧率 |
| 功耗预算 | 平均功耗（mW） | 电池容量 ÷ 目标续航时间 | 使用功耗分析仪（如Joulescope）实测 |
| 外设接口 | DMA通道、传感器接口 | 至少1个DMA，支持SPI/I2C | 查看数据手册外设列表 |
一个实用的判断流程是：首先用Python脚本（或TFLite Micro的模型转换工具）导出模型的参数量和激活值大小，然后与MCU的SRAM/Flash容量对比。如果模型权重超过Flash容量，则需要考虑量化（INT8）或模型剪枝。如果激活值峰值超过SRAM容量，则需要调整输入分辨率或使用内存复用技术（如TFLite Micro的arena机制）。
案例拆解：在Cortex-M4上部署关键词唤醒模型
假设我们需要在STM32L4系列（Cortex-M4, 80MHz, SRAM 128KB, Flash 512KB）上部署一个关键词唤醒（KWS）模型，用于检测“Hey Device”语音指令。模型为DS-CNN（Depthwise Separable Convolutional Neural Network），输入为40维MFCC特征，时间帧数为30，模型参数量约40KB（INT8量化后），单次推理MACs约2.3M。
初始现象：直接使用浮点模型部署，发现推理延迟为180ms，平均功耗为45mW，远超预期（目标延迟<100ms，平均功耗<20mW）。分析过程：通过Profiling发现，耗时最高的层是第一层标准卷积（占35%），原因是浮点运算在Cortex-M4上需要软件浮点库，效率低下。同时，激活值内存峰值达到85KB，接近SRAM上限，导致频繁的Flash读取。优化操作：①将模型量化为INT8，使用CMSIS-NN的arm_convolve_s8函数，延迟降至65ms；②将输入MFCC特征从float32改为int16，激活值内存降至42KB；③在推理完成后立即进入Sleep模式，平均功耗降至12mW。结果对比：优化后延迟65ms（降低64%），功耗12mW（降低73%），满足设计要求。复盘经验：对于Cortex-M4这类不带FPU或FPU性能较弱的MCU，INT8量化是必须的；同时，内存复用设计（TFLite Micro的arena）比动态分配更可靠。
2.2 典型TinyML模型：MobileNet与TinyMLPerf
核心原理：深度可分离卷积与模型效率
MobileNet系列是TinyML领域最经典的模型家族，其核心创新在于用深度可分离卷积（Depthwise Separable Convolution）替代标准卷积。标准卷积的计算量为：H×W×C_in×C_out×K×K，而深度可分离卷积将其分解为两个步骤：①深度卷积（Depthwise Convolution），每个输入通道独立使用一个K×K卷积核，计算量为H×W×C_in×K×K；②逐点卷积（Pointwise Convolution），使用1×1卷积核进行通道融合，计算量为H×W×C_in×C_out。总计算量约为标准卷积的1/C_out + 1/K²。以3×3卷积为例，计算量降低约8-9倍。
在TinyML场景中，MobileNetV1（alpha=0.25, 输入96×96）的参数量约0.5MB（FP32），INT8量化后约130KB，MACs约21M。而MobileNetV2引入了倒残差结构（Inverted Residual）和线性瓶颈（Linear Bottleneck），进一步减少了内存占用。MobileNetV3则结合了NAS搜索和硬件感知设计，在相同精度下延迟更低。选择哪个版本取决于目标硬件：如果MCU没有DSP指令，MobileNetV1的深度卷积可能效率不高；如果MCU支持SIMD（如Cortex-M7的SIMD），MobileNetV2的1×1卷积可以高效并行。
判断方法：TinyMLPerf基准的参考价值
TinyMLPerf（由MLCommons组织）是专门针对TinyML设备的性能基准测试套件，包含四个基准任务：Visual Wake Words（VWW，图像分类）、Keyword Spotting（KWS，语音唤醒）、Anomaly Detection（AD，异常检测）和Image Classification（IC，图像分类）。每个基准定义了固定的模型架构、输入数据格式和精度要求（通常为INT8）。例如，VWW基准使用MobileNetV1（alpha=0.25, 输入96×96×3），要求Top-1准确率≥80%。
使用TinyMLPerf进行硬件评估时，需要关注三个指标：推理延迟（ms）、峰值内存占用（KB）和能效比（推理次数/焦耳）。下表展示了不同硬件在VWW基准上的典型表现：
| 硬件平台 | 内核/加速器 | 推理延迟（ms） | 峰值内存（KB） | 能效比（次/J） |
|---|---|---|---|---|
| STM32F746 | Cortex-M7 @216MHz | 85 | 180 | 12.5 |
| STM32L4 | Cortex-M4 @80MHz | 320 | 120 | 3.1 |
| Raspberry Pi Pico | Cortex-M0+ @133MHz | 780 | 90 | 0.8 |
| NXP i.MX RT1170 | Cortex-M7 + NPU | 12 | 150 | 45.0 |
从表中可以看出，硬件加速器（NPU）能带来数量级的性能提升，但代价是更高的静态功耗和更复杂的内存管理。在功耗敏感的应用中，有时选择低主频的MCU配合高效的软件优化（如CMSIS-NN）反而能获得更好的能效比。
案例拆解：基于TinyMLPerf VWW基准的硬件选型
某智能门锁项目需要实现“人形检测”功能，要求在电池供电（2节AA电池，容量2000mAh）下持续工作6个月。每天触发约50次检测，每次检测需在1秒内完成。候选硬件为STM32L4（方案A）和带有NPU的NXP RT1170（方案B）。
关键输入数据：VWW模型（MobileNetV1 alpha=0.25）INT8量化后，参数量130KB，MACs 21M。方案A的推理延迟320ms，平均功耗25mW（含传感器）；方案B的推理延迟12ms，但静态功耗较高，平均功耗40mW（NPU待机功耗大）。分析过程：计算每日能耗——方案A：25mW × (320ms×50 + 待机功耗0.01mW×86399s) ≈ 25×16 + 864 ≈ 1264mJ；方案B：40mW × (12ms×50 + 待机功耗0.5mW×86399s) ≈ 40×0.6 + 43200 ≈ 43224mJ。方案B的待机功耗是主要问题。实际操作：选择方案A，并优化待机策略——在无检测任务时进入STOP2模式（功耗1.1µA），仅在传感器检测到运动时唤醒MCU。优化后，方案A的日均能耗降至约200mJ，满足6个月续航。结果对比：方案A虽然单次推理慢，但整体能效更优。复盘经验：TinyMLPerf的延迟指标不能直接用于功耗评估，必须结合具体应用的工作周期（Duty Cycle）和待机功耗进行系统级计算。
2.3 推理流程：从数据采集到结果输出
核心原理：推理的四个阶段与内存流转
一次完整的TinyML推理流程可以划分为四个阶段：数据采集与预处理、模型加载与内存分配、逐层算子执行、后处理与输出。每个阶段对功耗的贡献不同，且存在明显的“热点”。
- 数据采集与预处理：传感器（如麦克风、摄像头）通过I2S或DCMI接口将数据送入MCU。此阶段功耗主要来自传感器本身和DMA搬运。预处理（如MFCC特征提取、图像缩放）通常涉及大量乘加运算，但数据量较小，功耗占比约10-15%。
- 模型加载与内存分配：TFLite Micro等运行时会在SRAM中创建“Tensor Arena”，将模型权重从Flash加载到SRAM（或直接映射）。此阶段功耗主要来自Flash读取。如果模型较大，可能需要分块加载，增加总线冲突。
- 逐层算子执行：这是功耗最高的阶段，通常占总功耗的60-70%。每一层算子（卷积、池化、全连接）都需要从SRAM读取输入张量和权重，计算后写回输出张量。内存访问次数与MACs成正比，因此减少内存访问是降低功耗的关键。
- 后处理与输出：Softmax、阈值判断等操作计算量小，但可能需要访问查找表（LUT）。输出阶段（如通过UART发送结果）的功耗取决于通信速率和电平转换。
操作流程：使用Profiling工具定位功耗热点
在实际开发中，推荐使用以下流程进行推理功耗分析：
1. 硬件准备：使用Joulescope或Nordic Power Profiler连接MCU的供电端，采样率≥10kHz。
2. 软件插桩：在推理代码的关键阶段（预处理开始、第一层卷积前、每层结束后、后处理前）添加GPIO翻转信号。
3. 同步采集：使用逻辑分析仪同时记录GPIO状态和功耗曲线。
4. 数据分析：将功耗曲线按GPIO分段，计算每段的平均功耗和持续时间。
5. 定位热点：找出功耗最高的阶段，通常是卷积层密集的中间部分。
6. 优化迭代：针对热点层进行优化（如算子融合、内存复用、DMA预取），重复上述步骤。例如，在一次实际测量中，我们发现MobileNetV2的深度卷积层虽然MACs少，但内存访问模式不规则（每个通道独立计算），导致Cache命中率低，功耗反而高于1×1卷积。通过将深度卷积改为通道分组处理（Group=4），并利用DMA预取下一组数据，功耗降低了18%。
案例拆解：图像分类推理的功耗分解
以在STM32F746上运行MobileNetV1（alpha=0.25, 输入96×96×3）为例，实测功耗分解如下：
| 推理阶段 | 持续时间（ms） | 平均电流（mA） | 功耗占比 | 主要瓶颈 |
|---|---|---|---|---|
| 图像采集（DCMI+DMA） | 8.2 | 12.5 | 8% | 传感器功耗 |
| 预处理（缩放+归一化） | 3.1 | 18.0 | 4% | CPU运算 |
| 第一层卷积（标准3×3） | 12.5 | 35.2 | 28% | 内存带宽 |
| 深度可分离卷积（13层） | 48.3 | 28.6 | 48% | Flash读取+SRAM访问 |
| 全连接+Softmax | 2.8 | 15.4 | 3% | CPU运算 |
| 后处理+UART输出 | 5.0 | 10.2 | 9% | 外设通信 |
分析判断：深度可分离卷积层虽然单层计算量小，但层数多，且每层都需要从Flash读取权重（约130KB），导致Flash访问成为主要功耗来源。优化操作：①将权重从外部SPI Flash迁移到内部Flash（利用ART加速器），Flash读取功耗降低30%；②在深度卷积层使用CMSIS-NN的arm_depthwise_conv_s8函数，利用SIMD指令并行处理4个通道，减少指令周期；③将后处理的UART波特率从115200提升到921600，缩短输出时间。结果对比：优化后总推理功耗降低22%，其中深度卷积层功耗降低35%。复盘经验：在MCU上，Flash访问功耗往往被低估。使用SCB_EnableDCache()启用数据缓存，或将频繁访问的权重放入SRAM（如果空间允许），是有效的优化手段。