4、TinyML基础：TinyML定义、典型应用场景、模型量化（INT8/FP16）、模型压缩与部署流程概述

TinyML是机器学习与嵌入式物联网交叉领域中最具工程落地价值的方向之一。它并非简单地将现有深度学习模型“缩小”后塞进单片机，而是一套涵盖模型设计、压缩、量化、编译优化与运行时推理的完整工程方法论。在STM32H7这类具备Cortex-M7内核、可外扩SDRAM的高性能MCU上运行TinyML模型，其核心挑战在于：如何在有限的算力（通常为数百MHz主频）、有限的内存带宽（SDRAM访问延迟远高于内部SRAM）以及严格的功耗预算下，实现接近实时的推理延迟。本章将系统梳理TinyML的定义边界、典型应用场景，并重点剖析INT8与FP16量化的数学原理与工程取舍，最后给出从训练到部署的完整流程框架，为后续在STM32H7平台上进行性能测试打下坚实的理论基础。

上图展示了TinyML模型从训练到部署的完整链路，其中量化决策是整个流程中最关键的工程节点。在STM32H7平台上，由于外部SDRAM的访问延迟通常在数十纳秒级别，而内部SRAM仅为几纳秒，因此模型权重和中间激活的内存布局将直接影响推理性能。理解量化原理不仅是精度调优的需要，更是性能优化的前置条件——例如，INT8量化配合CMSIS-NN的SIMD指令可以将卷积运算速度提升4-6倍，但若SDRAM带宽成为瓶颈，这种提升可能被内存访问延迟所抵消。因此，本章内容将围绕“量化选择如何影响系统级性能”这一主线展开。

4.1 TinyML定义与工程边界

核心原理：TinyML并非一个严格的学术定义，而是一个工程实践领域。它指的是在功耗受限（通常为毫瓦级）、计算资源有限（MCU级别，主频几十至几百MHz）、内存容量小（通常为KB至数MB级别）的嵌入式设备上，部署和运行机器学习模型的技术总称。与边缘计算（Edge AI）不同，TinyML更强调极致的资源效率——模型大小通常小于2MB，推理延迟要求通常在10ms至100ms级别，且往往需要支持Always-On场景。在STM32H7上，由于可以外扩SDRAM（典型容量为8MB至32MB），其资源边界比传统TinyML设备宽松，但仍需严格管理内存带宽和功耗。

判断方法：判断一个应用是否属于TinyML范畴，可以从三个维度考量：功耗预算（是否要求电池供电且持续运行）、内存上限（模型与运行时总内存是否小于设备可用RAM）、实时性要求（推理延迟是否满足应用闭环控制周期）。在STM32H7项目中，若模型权重超过内部SRAM容量（通常为512KB至1MB），就必须使用SDRAM，此时需要评估SDRAM的访问延迟对推理性能的影响。

4.2 典型应用场景与性能需求分析

核心原理：TinyML的典型应用场景集中在传感器数据处理、语音唤醒、视觉识别和预测性维护四大领域。在STM32H7平台上，由于算力和内存相对充裕，可以支持更复杂的模型结构，如小型CNN、DS-CNN（深度可分离卷积网络）以及部分轻量级Transformer变体。每个场景对性能指标的要求差异显著：语音唤醒场景要求极低功耗和持续监听，视觉场景则更关注帧率和延迟一致性。

操作流程：在项目启动阶段，应首先明确性能目标（P99延迟、帧率、功耗上限），然后根据目标选择模型架构和量化策略。具体流程为：① 采集目标场景的真实数据分布；② 在PC端训练并验证模型精度；③ 使用STM32Cube.AI分析模型在Cortex-M7上的理论计算量（MACs）和内存占用；④ 根据分析结果决定是否需要模型压缩或量化。

4.3 模型量化：INT8与FP16的数学原理与工程取舍

核心原理：量化是将浮点数值映射到低比特离散值的过程。FP16量化本质上是将FP32的指数位从8位减至5位、尾数位从23位减至10位，其动态范围约为±65504，最小正规格化数为6.1e-5。由于FP16仍为浮点格式，其数值分布特性与FP32相似，因此在STM32H7的Cortex-M7内核上，FP16运算可以直接利用FPU（浮点单元）的硬件支持，无需额外的反量化操作。而INT8量化则需要建立浮点值域到整数值域的线性映射：q = round(r / scale) + zero_point，其中scale为缩放因子，zero_point为零点偏移。INT8量化的核心挑战在于如何选择最优的scale和zero_point，以最小化量化误差。

判断方法：选择INT8还是FP16，需要从三个维度综合评估：精度敏感度（通过逐层量化敏感性分析确定）、内存带宽（INT8可减少50%的SDRAM带宽占用）、计算单元利用率（Cortex-M7的DSP扩展指令集支持8位SIMD运算，但FP16运算需要额外的半精度转换指令）。在STM32H7上，FP16的优势在于无需校准集且精度损失极小，但内存占用和带宽消耗是INT8的两倍。

// INT8 量化参数计算示例（对称量化）
float scale = max_abs_value / 127.0f;  // 对称量化，zero_point=0
int8_t quantized_value = (int8_t)roundf(float_value / scale);
// 反量化
float dequantized_value = (float)quantized_value * scale;

// FP16 转换（Cortex-M7 硬件支持）
__fp16 fp16_value = (__fp16)float_value;  // 使用FPU半精度指令
float back_to_fp32 = (float)fp16_value;

案例拆解：在某电机故障诊断项目中，我们对比了FP32、FP16和INT8三种精度在STM32H743（外扩16MB SDRAM）上的表现。模型为3层1D-CNN+2层全连接，总参数量约850KB。FP32模型因超出内部SRAM（512KB）而必须全部驻留SDRAM，推理延迟为42ms。FP16模型权重降至425KB，可部分放入SRAM，延迟降至28ms。INT8模型权重仅213KB，全部放入SRAM，但激活值仍需SDRAM，延迟为19ms。然而，INT8模型的精度从98.2%降至96.7%，而FP16精度保持98.1%。最终方案采用混合精度：第一层卷积和最后一层全连接保持FP16，中间层使用INT8，精度恢复至97.8%，延迟为22ms。

4.4 模型压缩与部署流程概述

核心原理：模型压缩是量化之前的可选步骤，旨在减少模型冗余。常用技术包括：权重剪枝（将接近零的权重置零，实现稀疏存储）、知识蒸馏（用大模型指导小模型训练）、低秩分解（将权重矩阵分解为两个小矩阵的乘积）。在STM32H7场景中，剪枝需要特别谨慎——虽然稀疏矩阵可以减少存储，但CMSIS-NN的密集卷积核并不支持稀疏计算，除非使用专门的稀疏推理库，否则剪枝后的模型在MCU上可能无法获得实际加速。

操作流程：完整的部署流程分为六个阶段：① 模型训练与验证（PC端，FP32精度）；② 模型压缩（剪枝/蒸馏，可选）；③ 量化准备（收集校准数据集，统计激活值分布）；④ 量化转换（使用STM32Cube.AI或TFLite Converter生成量化模型）；⑤ 代码生成与集成（生成C代码，配置内存映射）；⑥ 板级验证与调优（实测延迟、功耗，调整内存布局）。