2、TinyML与量化基础：TinyML概念、边缘设备资源约束、量化定义与动机

TinyML（微型机器学习）是机器学习与嵌入式物联网系统交叉融合的前沿领域，其核心目标是在功耗受限、计算资源极度有限的微控制器（MCU）上部署和运行机器学习模型。要理解时序模型量化为何如此重要，首先必须厘清TinyML的边界条件、边缘设备的硬性资源约束，以及量化技术作为“桥梁”所解决的根本矛盾。本章将从这三个维度展开，为后续的精度变化分析与部署验证奠定理论基础。

2.1 TinyML概念与边缘设备资源约束

TinyML并非简单的“小模型”，而是一套完整的工程方法论，涵盖模型设计、压缩、编译优化、运行时调度与硬件适配。其典型部署目标为ARM Cortex-M系列、RISC-V MCU以及极低功耗的DSP处理器。这些设备的资源约束是量化技术存在的根本前提。

2.1.1 核心资源瓶颈分析

边缘设备的资源约束呈现“木桶效应”，任何一项短板都会限制模型部署。下表总结了典型MCU与云端GPU的资源差异：

资源维度	典型MCU（如STM32L4）	云端GPU（如T4）	差距倍数
Flash存储	256KB ~ 1MB	16GB+	~10,000x
SRAM内存	64KB ~ 512KB	16GB+	~30,000x
算力（MAC/s）	10M ~ 100M	65 TFLOPS	~100,000x
功耗预算	1mW ~ 100mW	70W ~ 300W	~10,000x

以时序模型为例，一个包含3层LSTM（每层64单元）的模型，若使用FP32存储，权重占用约 3 × 4 × 64 × 64 × 4B ≈ 196KB，加上中间激活值，已逼近低端MCU的Flash上限。若采用INT8量化，权重可压缩至约49KB，同时SRAM占用大幅下降，使得模型能够完整驻留在片上存储中，避免频繁的Flash读取。

2.2 量化定义与核心动机

量化（Quantization）是将连续取值（或高精度离散取值）的浮点数映射到有限离散整数集合的过程。在TinyML语境下，通常指将FP32的权重和激活值转换为INT8或INT16表示。

2.2.1 量化的数学本质

对称量化的核心公式为：

r = S × (q - Z)

其中，r为原始浮点值，q为量化后的整数值，S为缩放因子（浮点标量），Z为零点偏移（整数）。对称量化中 Z=0，非对称量化中 Z≠0。对于时序模型，权重通常采用对称量化（因为权重分布近似关于0对称），而激活值（如LSTM的sigmoid/tanh输出）常采用非对称量化以减小误差。

2.2.2 量化的三重动机

• 存储压缩：FP32→INT8直接减少75%的模型体积，使得原本无法放入Flash的模型变得可行。
• 计算加速：整数乘法在MCU上通常比浮点乘法快2-4倍，且许多MCU（如Cortex-M4/M7）带有SIMD整数指令，可进一步并行处理。
• 功耗降低：整数运算单元面积更小、切换功耗更低，且减少内存访问次数直接降低了动态功耗。

2.3 量化误差来源与精度影响机制

量化并非无损操作，其精度损失主要来源于以下三个方面：

2.3.1 舍入误差与截断误差

当浮点值映射到最近的整数时，会产生舍入误差。对于均匀量化，最大舍入误差为 S/2。若原始数据分布存在长尾（如时序异常检测中的极端值），则量化范围会被拉宽，导致正常值区域的精度下降。

2.3.2 动态范围失配

时序模型的激活值（如LSTM的cell state）可能在不同时间步呈现不同的动态范围。静态量化使用训练集统计的固定范围，若测试时遇到超出范围的异常值，会产生严重截断。这是时序模型量化精度下降的主要原因之一。

2.3.3 梯度消失/爆炸的量化放大

在训练后量化（PTQ）中，权重误差会通过前向传播放大。对于深层时序网络，误差可能随序列长度指数级累积。例如，一个100步的LSTM，若每步引入0.01的量化误差，最终输出误差可能达到0.5以上。

2.4 案例拆解：电池供电的振动监测设备

为具体说明量化动机与约束，我们设计一个工业设备振动监测场景。

2.4.1 场景与初始约束

某工厂需要在旋转机械上部署无线振动传感器，使用STM32L431（Cortex-M4F，80MHz，64KB SRAM，256KB Flash）采集3轴加速度计数据，并运行一个1D-CNN+LSTM的时序分类模型（输入窗口256点，3通道），用于识别轴承故障类型。模型原始FP32大小为320KB，超出Flash容量。

2.4.2 量化方案与实施

采用TensorFlow Lite for Microcontrollers进行PTQ量化：

1. 收集100组代表性振动数据作为校准集，统计各层激活值的动态范围。
2. 对卷积层权重使用对称INT8量化，对LSTM层使用非对称INT8量化（因sigmoid输出范围[0,1]）。
3. 将模型转换为TFLite格式，并生成C字节数组。

量化后模型大小降至82KB，Flash占用满足要求。在部署验证阶段，使用真实振动数据测试，结果如下：

指标	FP32模型（PC模拟）	INT8量化模型（MCU实测）	变化
分类准确率	96.2%	94.8%	-1.4%
推理延迟	—	38ms	满足50ms实时要求
峰值SRAM占用	—	41KB	低于64KB限制
平均功耗	—	12mW	电池寿命>6个月

2.4.3 复盘与经验

精度下降1.4%的主要原因是LSTM层遗忘门的量化误差累积。通过将LSTM层改为INT16量化（仅增加8KB Flash），准确率恢复至95.7%，延迟仅增加3ms。这一案例说明：量化方案需要结合模型结构特征进行精细调整，而非一刀切使用INT8。

2.5 常见误区与总结复盘

在TinyML量化实践中，初学者常陷入以下误区：

• 误区一：认为量化只是“压缩工具”。实际上，量化更是一种“计算优化策略”，其带来的延迟降低和功耗节省往往比存储节省更具价值。
• 误区二：忽视校准集的选择。校准集必须覆盖实际部署场景的输入分布。若校准集与真实数据分布偏差过大，量化范围估计不准，精度会急剧下降。
• 误区三：混淆训练时量化（QAT）与训练后量化（PTQ）。PTQ快速但精度损失较大；QAT在训练中模拟量化误差，精度更高但需要重新训练。对于时序模型，若PTQ精度损失超过2%，建议切换至QAT。
• 误区四：忽略端到端验证。在PC上模拟量化模型通过，不代表在MCU上能正确运行。必须进行硬件在环测试，验证数值溢出、对齐和内存布局问题。