3. TinyML部署特性：分析TinyML模型在MCU上的推理特点，包括内存占用、计算延迟、功耗与实时性之间的权衡
TinyML 的部署环境与云端或边缘服务器截然不同。MCU（微控制器）通常以 Cortex-M 系列内核为主，主频在几十 MHz 到几百 MHz 之间，内置 Flash 容量从几十 KB 到几 MB，SRAM 往往只有几十 KB 到几百 KB。在这样的资源约束下，模型推理呈现出“内存敏感、延迟可预测、功耗受限、实时性要求高”的复合特征。理解这些特征之间的耦合关系，是进行系统验收、超时处理和资源余量规划的前提。本章将围绕内存占用、计算延迟、功耗与实时性四个维度，剖析 TinyML 在 MCU 上的推理特性，并给出工程化的权衡方法与验收要点。
上图展示了 MCU 推理引擎与四个关键维度之间的耦合关系。内存占用决定了模型能否被装载，计算延迟决定了响应速度，功耗决定了系统热设计与电池寿命，而实时性则决定了推理结果能否在截止时间前被使用。这四个维度并非独立，而是通过“资源预算”相互制约。例如，为了降低延迟而使用更大的 SRAM 缓存，会直接增加静态功耗；为了省电而降低主频，则会导致推理时间延长，可能破坏实时性。因此，TinyML 部署本质上是一个多目标优化问题。
3.1 内存占用：Flash 与 SRAM 的分工与瓶颈
MCU 的内存体系与 PC 或手机不同，通常采用哈佛架构或改进型哈佛架构，指令和数据总线分离。TinyML 模型部署时，模型权重、偏置、量化参数等常量数据存放在 Flash 中，而输入张量、中间激活值、输出张量以及运行时临时缓冲区则存放在 SRAM 中。Flash 容量通常比 SRAM 大一个数量级，但访问速度较慢；SRAM 速度快但容量极为有限。
核心原理：内存占用构成
- Flash 占用：模型结构定义、权重数组、量化缩放因子（scale）和零点（zero point）、算子代码本身。对于 8bit 量化模型，权重占用 = 参数数量 × 1 字节；对于 float32 模型，则为 × 4 字节。
- SRAM 占用：输入缓冲区、每一层输出的激活张量、临时计算缓冲区（如 im2col 缓冲）、以及运行时栈空间。激活张量的大小与输入分辨率、通道数和网络深度直接相关。
- 额外开销：CMSIS-NN 或自定义算子可能需要额外的查找表（LUT）或临时存储，例如 Softmax 的指数表、量化反量化所需的中间变量。
判断方法与操作流程
- 静态分析：使用模型转换工具（如 TensorFlow Lite for Microcontrollers 的模型转换器）生成 C 数组或二进制文件，直接查看
model_data[]的大小，即为 Flash 占用。 - 动态分析：在编译链接后，查看 map 文件中的
.bss和.data段大小，估算 SRAM 基线占用。再通过插桩或仿真器获取每层激活张量的峰值。 - 峰值内存计算：使用 Arena 分配策略时，需要计算所有中间张量的生命周期重叠情况，取最大重叠区间作为 Arena 大小。
工程经验：在 STM32F746（Cortex-M7，主频 216MHz，Flash 1MB，SRAM 320KB）上部署一个 8bit 量化的 MobileNetV1（alpha=0.25），输入 96×96×3 图像。Flash 占用约 420KB（权重 380KB + 代码 40KB），SRAM 峰值约 180KB（第一层卷积输出 48×48×16 = 36KB，后续层逐步减小）。此时 SRAM 余量约 140KB，可用于系统任务栈和通信缓冲。若将输入分辨率提升至 128×128，第一层输出变为 64×64×16 = 64KB，峰值内存将上升至约 250KB，余量骤减至 70KB，系统稳定性风险显著增加。
常见误区
- 误区一：只关注权重大小，忽略激活内存。某些深度可分离卷积网络虽然权重小，但中间激活张量可能很大，导致 SRAM 溢出。
- 误区二：认为 Flash 足够就万事大吉。Flash 读取速度慢，频繁访问 Flash 中的权重会拉长延迟，且 Flash 写入寿命有限，运行时不应频繁修改。
- 误区三：忽略对齐和填充。CMSIS-NN 要求数据按 4 字节或 16 字节对齐，可能导致实际占用比理论值多 10%~20%。
3.2 计算延迟：算子耗时与系统调度
计算延迟是指从输入数据准备好到推理结果可用的总时间。在 MCU 上，这个延迟由算子计算时间和数据搬运时间共同决定。与 GPU 不同，MCU 没有大规模并行计算单元，延迟主要受限于 CPU 主频、内存带宽和算子实现效率。
核心原理：延迟构成
| 延迟来源 | 典型占比 | 优化手段 |
|---|---|---|
| 卷积/全连接算子 | 60%~80% | 使用 CMSIS-NN、SIMD 指令、Winograd 变换 |
| 激活函数与池化 | 5%~15% | 查表法、定点近似 |
| 数据搬运（DMA/内存拷贝） | 10%~20% | 双缓冲、零拷贝设计 |
| 量化/反量化操作 | 5%~10% | 融合到算子内部，避免额外遍历 |
判断方法与操作流程
- 基准测试：使用
DWT->CYCCNT寄存器或SysTick测量单次推理的 CPU 周期数，换算为时间。 - 分层剖析：在每层算子前后插入时间戳，识别耗时热点。通常第一层卷积和最后的全连接层是主要瓶颈。
- 对比基线：将 CMSIS-NN 优化后的耗时与纯 C 实现对比，确认优化收益。
实测数据参考：在 100MHz 的 Cortex-M4 上，8bit 量化 3×3 卷积（输入 32×32×16，输出 32×32×32）使用 CMSIS-NN 约耗时 1.2ms；若使用普通 C 循环，耗时约 4.5ms。差距主要来自 SIMD 指令和内存对齐优化。
案例拆解：关键词唤醒系统的延迟优化
某智能语音门锁方案采用 Cortex-M4 @ 150MHz，运行一个 5 层 DS-CNN 模型（输入 40 维 MFCC 特征，10 帧）。初始实现单次推理耗时 85ms，超过 50ms 的实时要求。通过 DWT 剖析发现：第 1 层卷积耗时 32ms（占比 38%），第 3 层深度卷积耗时 25ms（占比 29%），Softmax 耗时 8ms。优化措施：① 将第 1 层卷积改为 5×5 深度可分离结构，参数减少 40%，耗时降至 18ms；② 对深度卷积使用 CMSIS-NN 的 arm_depthwise_conv_s8，耗时降至 12ms；③ Softmax 改用查表法，耗时降至 1.5ms。优化后总耗时 42ms，满足实时要求，且 Flash 占用减少 25KB。
3.3 功耗与实时性的权衡
功耗与实时性在 TinyML 中是一对天然矛盾。实时性要求推理必须在截止时间前完成，这往往需要较高的主频或持续工作；而低功耗则要求系统尽可能进入睡眠状态，降低工作 Duty Cycle。MCU 的功耗由动态功耗（与频率和电压平方成正比）和静态功耗（漏电流）组成。
核心原理：功耗模型
单次推理能耗 ≈ 平均功耗 × 推理时间。平均功耗 ≈ 动态功耗 + 静态功耗。动态功耗 = C × V² × f，其中 C 为负载电容，V 为工作电压，f 为时钟频率。因此，降低频率可以线性降低动态功耗，但会延长推理时间；降低电压可以平方级降低功耗，但受限于芯片的最低工作电压和时序收敛要求。
权衡策略
| 策略 | 实时性影响 | 功耗收益 | 适用场景 |
|---|---|---|---|
| 动态调频（DVFS） | 需保证最高负载下仍满足截止时间 | 中等（20%~40%） | 负载波动较大的系统 |
| 批量处理 | 增加单次响应延迟 | 高（减少唤醒次数） | 非实时传感器数据采集 |
| 中断驱动推理 | 高（立即响应） | 低（需保持外设时钟） | 事件触发型应用 |
| 模型量化/剪枝 | 缩短推理时间 | 间接降低（可降低频率） | 所有场景 |
判断方法与操作流程
- 确定实时性约束：明确是硬实时（错过截止时间即系统失败）还是软实时（允许偶发超时）。
- 测量最坏情况执行时间（WCET）：在最高输入负载、最高温度、最低电压条件下测量推理时间。
- 计算功耗预算：根据电池容量或能量收集功率，反推允许的平均功耗和 Duty Cycle。
- 选择工作点：在满足 WCET ≤ 截止时间的前提下，选择最低的电压/频率组合。
风险提示：不要仅以平均功耗作为设计依据。MCU 在推理瞬间的峰值电流可能达到平均电流的 3~5 倍。若电源设计余量不足，会导致电压跌落，引发复位或推理错误。验收时必须使用示波器测量推理期间的电源纹波。
案例拆解：可穿戴 ECG 设备的功耗-实时性平衡
某可穿戴心电设备使用 nRF52840（Cortex-M4 @ 64MHz），运行一个 1D 卷积异常检测模型。系统要求：每 2 秒完成一次 ECG 片段推理，电池容量 50mAh，目标续航 7 天。初始方案：持续以 64MHz 运行，推理耗时 35ms，平均电流 8mA，续航仅 2.6 天。优化方案：① 将主频降至 32MHz，推理耗时变为 62ms，仍满足 2 秒周期；② 推理完成后立即进入 System OFF 模式，待机电流降至 1.5μA；③ 使用 RTC 定时唤醒，每次唤醒后先完成 ADC 采样再启动推理。优化后平均电流降至 0.4mA，续航提升至 5.2 天。进一步将模型从 float32 量化为 int8，推理耗时降至 40ms（32MHz 下），允许将主频降至 16MHz，平均电流降至 0.25mA，续航达到 8.3 天，超出目标。
3.4 实时性保障与资源余量验收
实时性保障是系统验收的核心环节。在 MCU 上，实时性不仅取决于推理本身，还取决于中断响应、任务调度和内存访问冲突。TinyML 推理通常作为实时任务的一部分，需要与其他任务（如通信、传感器读取）共享 CPU。
核心原理：实时性分析
最坏情况响应时间 = 中断阻塞时间 + 推理执行时间 + 调度延迟。在裸机环境中，推理通常是主循环的一部分，需要确保推理期间不被高优先级中断长时间打断。在 RTOS 环境中，推理任务需要设置合适的优先级，并考虑优先级反转问题。
资源余量验收清单
- CPU 余量：在最大负载下，CPU 空闲率 ≥ 30%。计算方式：(1 - 推理时间/任务周期) × 100%。
- 内存余量：SRAM 峰值使用率 ≤ 80%，预留 20% 给栈溢出、日志缓冲和临时变量。
- Flash 余量：至少保留 10% 的 Flash 空间用于后续固件升级或 bug 修复。
- 功耗余量：平均功耗 ≤ 预算的 85%，避免电池老化或温度变化导致失效。
- 时间余量：WCET ≤ 截止时间的 70%，为中断抖动和温度漂移留出空间。
判断方法与操作流程
- 压力测试：构造最坏输入（如全白噪声图像、最大长度音频帧），连续运行 1000 次推理，记录最大耗时。
- 中断干扰测试：在推理过程中触发最高优先级中断（如定时器中断），测量推理时间被拉长的程度。
- 温度漂移测试：在 -20°C 至 +85°C 范围内测试推理时间变化。通常温度升高会导致 MOSFET 导通电阻增大，但 MCU 数字逻辑速度反而可能略有提升，需实测确认。
- 长期稳定性测试：连续运行 72 小时，监控内存泄漏、栈溢出和推理时间漂移。
验收复盘：某工业振动监测项目在验收时发现，虽然平均推理时间 18ms，满足 20ms 的周期要求，但在启用 DMA 传输传感器数据时，推理时间偶发飙升至 35ms。原因是 DMA 与 CPU 竞争 SRAM 带宽，导致权重读取延迟增加。解决方案：① 将 DMA 优先级降低；② 将模型权重从外部 Flash 迁移到内部 Flash（若容量允许）；③ 在推理期间暂停非关键 DMA 传输。最终 WCET 稳定在 22ms，余量恢复至 10%。
常见误区与总结
- 误区一：只测平均延迟，不测最坏延迟。TinyML 系统验收必须关注 WCET，因为偶发超时可能导致控制环路失稳或数据丢失。
- 误区二：忽略 Flash 读取等待状态。当 CPU 主频较高而 Flash 访问速度跟不上时，会插入等待周期，导致实际推理时间比理论计算长 20%~50%。
- 误区三：将功耗优化与实时性优化割裂。实际上，模型量化既能降低功耗（减少计算量）又能提升实时性（缩短推理时间），是双赢策略。
- 误区四：资源余量越大越好。过度预留余量会导致成本上升或性能浪费。合理的余量应基于系统重要性和失效代价来确定，例如医疗设备余量应大于消费电子。
综上所述，TinyML 在 MCU 上的部署特性决定了系统验收必须同时关注内存占用、计算延迟、功耗和实时性四个维度。内存是基础约束，延迟是性能指标，功耗是续航保障，实时性是功能正确性的前提。在实际工程中，应通过量化、算子优化、任务调度和电源管理等多种手段，在四者之间找到满足应用需求的平衡点。资源余量的验收不是简单的“留一点空间”，而是基于最坏情况分析和长期稳定性测试的系统工程决策。