📚 课程目录第4章模型量化入门

4、模型量化入门：学习INT8、FLOAT16等量化方法，掌握量化对模型大小和推理内存的影响

在TinyML的工程实践中，模型量化是让神经网络在MCU上“跑得动、跑得快”的核心手段。MCU的Flash通常只有几百KB到几MB，RAM更是以KB为单位，而一个未经处理的浮点模型动辄数MB。量化通过降低数值表示的位宽，将模型权重和激活值从32位浮点（FP32）压缩为16位浮点（FP16）或8位整数（INT8），从而同时缩减存储体积、降低内存占用并提升推理速度。本章将系统讲解INT8与FP16两种主流量化方法的原理、操作流程、实际影响以及常见误区，帮助你在资源受限的MCU上做出合理的量化决策。

上图展示了量化的核心决策链路：从FP32原始模型出发，根据硬件能力和精度要求选择INT8或FP16量化路径，最终影响模型大小、推理内存、速度和精度四个关键维度。下面我们将逐一深入剖析。

4.1 核心原理：从FP32到低比特表示

神经网络模型在训练阶段通常使用FP32（32位浮点数）来保证梯度传播的稳定性。但在推理阶段，我们并不需要如此高的数值精度。量化本质上是一个数值映射过程：将连续的浮点数值范围映射到离散的低比特整数或低精度浮点范围。

INT8量化将每个浮点数值映射到[-128, 127]的整数区间。其核心公式为：

q = round(r / scale) + zero_point

其中，r为原始浮点值，scale为缩放因子（浮点数），zero_point为零点偏移（整数），q为量化后的整数。反量化为：r ≈ (q - zero_point) × scale。根据是否对称，又分为对称量化（zero_point=0）和非对称量化（zero_point≠0）。对称量化实现简单，适合权重分布接近0的情况；非对称量化能更好地处理激活值分布偏移。

FP16量化则简单得多：它只是将FP32的32位表示截断为16位半精度浮点，保留1位符号位、5位指数位和10位尾数位。FP16的数值范围与FP32相近，但精度较低。由于MCU的FPU（浮点运算单元）通常原生支持FP16运算（如ARM Cortex-M4/M7的FPv5），FP16量化几乎不引入额外计算开销，但内存节省只有50%。

  关键区别：INT8量化需要额外的scale和zero_point参数，推理时需要反量化或使用整数运算内核；FP16量化则直接使用半精度浮点运算，无需额外参数，但节省空间有限。选择哪种方法，取决于MCU的硬件指令集和精度要求。

4.2 判断方法：如何选择INT8还是FP16

在实际项目中，选择量化方法需要综合评估硬件能力、精度敏感度和部署工具链。以下是一个实用的判断流程：

检查硬件支持：查阅MCU的数据手册，确认是否支持SIMD（单指令多数据）整数指令（如ARM Cortex-M33的DSP扩展）或FP16运算指令。若支持INT8 SIMD，优先考虑INT8；若仅支持FP16，则选择FP16。
评估精度敏感度：对于图像分类、关键词唤醒等任务，INT8通常能保持99%以上的准确率；但对于回归任务或高精度传感器数据处理，INT8可能损失过大，此时FP16更安全。
考虑内存瓶颈：如果模型权重超过Flash容量的一半，或激活值导致RAM溢出，INT8的4倍压缩比（相对FP32）比FP16的2倍压缩比更具优势。
检查工具链支持：TensorFlow Lite for Microcontrollers、CMSIS-NN、STM32Cube.AI等工具链对INT8的支持程度不同。CMSIS-NN对INT8有深度优化，而某些厂商的NPU只支持INT8。

对比维度	INT8量化	FP16量化
权重存储（相对FP32）	25%（4倍压缩）	50%（2倍压缩）
激活内存占用	25%（需量化激活）	50%（直接半精度）
推理速度提升	2-4倍（依赖SIMD）	1.2-1.5倍（依赖FPU）
精度损失	通常<1%，敏感任务可能>2%	通常<0.5%
实现复杂度	高（需校准、零点处理）	低（直接转换）
典型适用场景	Flash/RAM极受限、有INT8加速	有FPU、精度要求较高

4.3 案例拆解：关键词唤醒模型的INT8量化实战

我们以一个实际的语音关键词唤醒（KWS）模型为例，展示INT8量化的完整流程和效果。该模型基于DS-CNN架构，包含约120K参数，原始FP32模型大小为480KB，运行在Cortex-M4F内核的MCU上，Flash容量为1MB，RAM为256KB。

初始现象：FP32模型部署后，Flash占用480KB（可接受），但推理时激活值峰值达到180KB，加上权重和中间缓冲区，RAM占用接近220KB，导致系统在同时运行音频采集和通信任务时频繁内存溢出。

目标：将RAM占用降至150KB以下，同时保持唤醒准确率不低于95%（原始准确率97.2%）。

操作步骤：

准备校准数据集：从训练集中随机抽取500条音频特征（MFCC），覆盖不同说话人和噪声环境。
执行PTQ（训练后量化）：使用TensorFlow Lite Converter进行INT8全整数量化，设置代表性数据集进行校准。
评估量化后模型：在测试集上评估，发现准确率降至93.8%，低于95%的目标。
分析原因：发现第一层和最后一层的激活值分布范围较大，量化误差累积明显。
混合精度调整：将第一层和最后一层保持FP16，中间层使用INT8。重新量化后准确率恢复至96.5%。
部署验证：使用CMSIS-NN的INT8内核进行推理，Flash占用降至130KB（INT8权重）+ 20KB（FP16层）= 150KB，RAM峰值降至95KB。

指标	FP32基线	INT8全量化	混合精度（INT8+FP16）
Flash占用	480KB	120KB	150KB
RAM峰值	220KB	80KB	95KB
准确率	97.2%	93.8%	96.5%
单次推理耗时	85ms	32ms	38ms

风险与代价：混合精度方案增加了模型转换的复杂度，需要手动指定各层的量化类型，且CMSIS-NN对混合精度的支持需要额外编写部分自定义算子。但换来的RAM节省（125KB）和速度提升（2.2倍）是值得的。

重要提醒：不要盲目追求全INT8量化。当模型包含对数值范围敏感的层（如检测头的回归输出）时，混合精度往往是更优解。务必在量化后使用真实测试集验证，而非仅依赖训练集。

4.4 常见误区与总结复盘

在MCU量化实践中，工程师常陷入以下误区：

误区一：量化后必须使用全整数运算。实际上，如果MCU没有INT8 SIMD指令，反量化到FP32再运算可能比直接FP16更慢。务必先确认硬件能力。
误区二：校准数据集越大越好。校准数据过多会导致量化参数过拟合到校准集分布，反而降低泛化能力。通常100-500个样本足够。
误区三：忽略zero_point的影响。非对称量化中，zero_point处理不当会导致推理结果偏移。在嵌入式C代码中，zero_point的整数运算需要特别小心。
误区四：只关注权重大小，忽略激活内存。激活值在推理过程中动态产生，其内存占用往往比权重更关键。INT8量化激活值能显著降低RAM峰值。
误区五：量化后不做精度验证。量化是一个有损过程，必须在目标硬件上运行完整的测试集，而不是仅用几个样本验证。

总结复盘：模型量化是TinyML部署的必修课。INT8量化能带来4倍存储压缩和显著的内存/速度收益，但需要校准、可能引入精度损失；FP16量化实现简单、精度损失小，但收益有限。正确的做法是：先评估硬件能力，再根据模型敏感度选择量化策略，必要时采用混合精度，最后在真实硬件上验证。量化不是一次性的操作，而是一个需要迭代调优的工程环节。掌握量化的原理和权衡，能让你在MCU上部署更大、更复杂的模型，充分发挥边缘设备的AI潜力。