2、量化基础：模型量化原理、浮点与定点表示、INT8量化优势与挑战

在TinyML的工程实践中，模型量化是连接“训练好的大模型”与“资源受限的微控制器”之间的关键桥梁。绝大多数MCU不具备硬件浮点运算单元（FPU），即便部分高端Cortex-M7或Cortex-M33系列支持单精度浮点，其运算速度与功耗也远不如整数运算。因此，理解量化原理、掌握浮点与定点的数学本质，是进行INT8精度对比实验的前提。本章将从数值表示的根本差异出发，剖析量化的数学映射、INT8的优势来源以及在实际部署中必然遭遇的精度损失挑战。

上图展示了浮点与定点表示的核心差异以及量化映射的基本框架。浮点通过符号位、指数位和尾数位实现了极大的动态范围，而INT8仅用8位整数表示，必须依赖缩放因子S和零点Z进行仿射变换。这一变换过程看似简单，但在实际TinyML部署中，如何确定S和Z、如何处理异常分布、如何避免精度崩塌，正是本章需要深入探讨的内容。

2.1 模型量化原理：从连续域到离散域的映射

核心原理：模型量化本质上是将连续分布的浮点数值映射到有限离散的整数集合。以最常见的线性（仿射）量化为例，其数学表达式为：

r = S × (q - Z)
其中：
  r: 真实浮点值（FP32）
  q: 量化后的整数（INT8）
  S: 缩放因子，S = (rmax - rmin) / (qmax - qmin)
  Z: 零点偏移，Z = qmin - rmin / S（通常取整）

在TinyML场景中，我们通常对权重（weights）和激活值（activations）分别进行量化。权重的分布相对稳定，因为训练完成后权重值固定；而激活值的分布则随输入数据变化，需要在推理时通过校准数据集统计获得。量化过程分为两个阶段：离线量化（训练后量化，PTQ）和量化感知训练（QAT）。PTQ无需重新训练，只需少量校准数据即可完成，是TinyML最常用的方案；QAT则在训练过程中模拟量化误差，精度更高但需要完整训练流程。

2.2 浮点与定点表示：数值精度与硬件代价的权衡

浮点表示（FP32）：采用IEEE 754标准，由1位符号位、8位指数位和23位尾数位组成。其优势在于动态范围极大（约10⁻⁴⁵到10³⁸），能够精确表示非常小或非常大的数值，且无需额外处理即可进行科学计算。但在MCU上，FP32运算要么依赖昂贵的硬件FPU，要么通过软件库（如CMSIS-DSP的软浮点）模拟，后者速度慢且代码体积大。

定点表示（INT8）：仅用8位二进制表示数值，范围固定为[-128, 127]（有符号）或[0, 255]（无符号）。定点数没有指数位，因此动态范围极小，但整数运算在MCU上只需1-2个时钟周期即可完成，且不需要额外硬件支持。在TinyML中，我们通过S和Z将浮点权重和激活映射到INT8范围，推理时全部使用整数乘加运算，最后再反量化回浮点输出。

实战场景：假设一个简单的全连接层，输入特征为128维，输出为32维。FP32模型需要存储128×32×4=16KB权重，而INT8仅需4KB。在STM32F4系列（无FPU）上，FP32推理一次前向传播约需2.3ms，而INT8仅需0.4ms，速度提升近6倍。这一差距在卷积神经网络中会被进一步放大。

2.3 INT8量化优势：内存、速度与功耗的三重收益

优势拆解：

• 内存占用降低75%：模型参数从4字节压缩到1字节，对于Flash和RAM均受限的MCU至关重要。例如，一个1MB的FP32模型，INT8后仅需256KB，可直接放入主流MCU的内部Flash。
• 推理速度提升4-8倍：整数乘加指令在Cortex-M系列上为单周期指令，而软浮点乘法需要调用库函数，通常消耗20-100个周期。CMSIS-NN库针对INT8卷积做了深度优化，利用SIMD（单指令多数据）和查表法进一步加速。
• 功耗显著降低：更少的访存次数和更简单的运算单元直接降低了动态功耗。在电池供电的传感器节点上，这意味着更长的待机时间或更高的采样频率。
• 兼容性更好：几乎所有MCU都支持8位整数运算，无需检查FPU是否存在，代码可移植性更强。

2.4 INT8量化挑战：精度损失、敏感层与校准策略

主要挑战：

1. 动态范围不匹配：神经网络中的权重和激活值分布通常呈钟形（高斯分布），但存在长尾。若直接使用min/max范围，极端值会拉大S，导致正常值量化后精度不足。
2. 敏感层问题：某些层（如检测头的回归层、BatchNorm后的激活层）对量化误差极其敏感，微小的扰动可能导致输出剧烈变化。
3. 校准数据集选择：PTQ需要校准数据来统计激活分布。若校准数据与真实部署数据分布差异大，量化参数将不准确。
4. 偏置量化：偏置项通常需要更高精度（如INT32），否则累加误差会快速累积。

案例拆解：以MobileNetV1在CIFAR-10上的量化为例。初始使用min/max校准，Top-1准确率从88.3%降至82.1%，下降6.2%。分析发现，第一层卷积的激活值存在少量异常大值（>10），而99%的值集中在[-2, 2]区间。直接使用min/max导致S=0.078，正常值量化后仅能区分约51个等级，精度严重不足。

解决过程：

• 改用百分位校准：取99.99%分位数作为rmax，排除极端异常值，S变为0.031，精度恢复至86.7%。
• 对第二层之后的激活采用KL散度校准（TensorRT方法），进一步优化分布匹配，最终准确率恢复至87.9%。
• 将第一层和最后一层保留为FP16（若MCU支持）或使用混合精度，最终达到88.1%，仅损失0.2%。

复盘经验：量化精度损失并非均匀分布，往往集中在少数敏感层。通过逐层分析量化前后的激活值分布（使用余弦相似度或KL散度），可以快速定位问题层。此外，校准数据集应覆盖典型工况，避免只用单一场景数据。

2.5 量化误差分析与常见误区

误差来源总结：

常见误区：

• 误区一：“INT8精度一定比FP32差很多”——实际上，对于大多数分类和检测任务，PTQ可以保持98%以上的精度。
• 误区二：“量化只需要在推理时做”——权重量化必须在训练后立即进行，且需要保存量化参数（S和Z）供推理使用。
• 误区三：“所有层都适合INT8”——第一层和最后一层通常对输入输出精度敏感，建议保留更高精度。
• 误区四：“校准数据越多越好”——过多的校准数据可能导致过拟合到校准集分布，一般100-500张代表性图片即可。