📚 课程目录第3章 int8量化基础

3、int8量化基础：对称/非对称量化、量化参数（scale/zero_point）、量化误差来源

在CMSIS-NN的int8推理加速中，量化是连接浮点训练模型与定点推理引擎的桥梁。理解量化参数的数学含义、对称与非对称两种映射模式的适用边界，以及误差产生的物理根源，是进行kernel性能测试与调优的前提。本章将系统拆解int8量化的核心概念，并给出在Cortex-M平台上进行量化参数校验与误差定位的实操方法。

3.1 对称量化与非对称量化的数学本质

int8量化本质上是将浮点实数域映射到8位整数域。对称量化（Symmetric Quantization）假设浮点数据的分布关于零点对称，因此映射关系为 q = clamp(round(r / scale))，其中 scale = max(|r_min|, |r_max|) / 127。这种模式不需要zero_point，计算简单，在CMSIS-NN的卷积和全连接层中广泛使用，因为权重矩阵通常近似对称分布。非对称量化（Asymmetric Quantization）则引入zero_point来补偿数据分布偏移，映射关系为 q = clamp(round(r / scale) + zero_point)，其中 scale = (r_max - r_min) / 255，zero_point = round(-r_min / scale)。非对称量化更适合激活值（如ReLU后的特征图），因为这类数据往往整体偏正且分布不对称。

关键区别：对称量化在推理时无需执行zero_point的加减运算，减少了指令周期；非对称量化虽然增加了计算量，但能更精细地利用int8的256个量化级别，降低量化噪声。在CMSIS-NN中，权重通常采用对称量化，激活值则根据实测分布选择对称或非对称模式。

3.2 量化参数scale与zero_point的确定方法

scale和zero_point的确定依赖于对浮点张量动态范围的统计。常用的方法包括：

MinMax校准：直接使用校准数据集上观测到的张量最小值和最大值。实现简单，但对离群点敏感。
百分位校准：使用99.99%或99.9%分位数替代最大值，避免个别极端值拉大量化范围。
熵校准（KL散度）：通过最小化浮点分布与量化分布之间的KL散度来选择阈值，常用于TensorRT等框架。
均方误差最小化：在给定量化步长下，选择使量化前后张量MSE最小的截断阈值。

在CMSIS-NN的调优实践中，推荐使用百分位校准或MSE最小化方法，因为Cortex-M上的嵌入式视觉模型往往包含大量接近零的小数值激活，直接使用MinMax会导致量化分辨率浪费。

校准方法	计算复杂度	抗离群点能力	适用场景
MinMax	低	弱	分布均匀、无极端值的权重
百分位	低	中	激活值、含少量离群点的张量
KL散度	中	强	大规模模型、精度敏感场景
MSE最小化	中高	强	对精度要求极高的关键层

3.3 量化误差的四大来源与定位方法

量化误差并非单一来源，而是多种因素叠加的结果。理解这些来源有助于在CMSIS-NN kernel测试中快速定位精度下降的根因。

舍入误差（Rounding Error）：浮点值映射到整数时，round()操作引入的误差，最大为0.5个量化步长。对于均匀分布的数据，舍入误差的期望值为0，方差为scale²/12。
截断误差（Clipping Error）：当浮点值超出量化范围时被强制截断到边界值。这种误差在激活值出现长尾分布时尤为严重，会导致信息丢失。
零点漂移（Zero-point Drift）：非对称量化中，zero_point的取整操作会引入系统性偏移，尤其在连续多层累加后，这种偏移会被放大。
反量化精度损失：在混合精度推理或需要浮点输出的场景中，反量化操作r = (q - zero_point) * scale会引入额外的浮点舍入误差。

风险提示：在CMSIS-NN中，如果使用非对称量化激活值，必须确保zero_point在kernel内部被正确处理。部分优化kernel假设zero_point为0以简化SIMD指令，若实际zero_point非0，会导致输出偏移。测试时应检查kernel是否支持非零zero_point。

3.4 案例拆解：Cortex-M7上量化参数选择对推理精度的影响

背景与约束：某工业视觉检测项目在STM32H743（Cortex-M7，480MHz）上部署一个3层CNN模型，用于缺陷分类。模型浮点精度为98.2%，目标int8量化后精度不低于97.0%。CMSIS-NN kernel要求权重采用对称量化，激活值可配置。

初始现象：使用默认的MinMax校准和对称量化，量化后精度骤降至91.5%，远低于目标。进一步分析发现，第一层卷积的激活值分布严重偏正（ReLU后），且存在少量大值离群点。

关键输入数据：第一层激活值统计：min=0.0，max=12.7，99.9%分位数=3.8，均值=0.42。若使用MinMax，scale=12.7/127≈0.1，大部分激活值集中在0-0.5区间，仅占5个量化级别，分辨率严重不足。

分析判断过程：问题根源在于对称量化无法处理偏正分布，且MinMax对离群点敏感。解决方案是采用非对称量化激活值，并使用99.9%分位数作为最大值。

实际操作步骤：

// 伪代码：非对称量化参数计算
float r_min = 0.0f;
float r_max = 3.8f;  // 99.9%分位数
float scale = (r_max - r_min) / 255.0f;  // ≈0.0149
int zero_point = (int)round(-r_min / scale);  // 0

// 量化映射
int8_t q = (int8_t)clamp(round(r / scale) + zero_point, -128, 127);

将第一层激活值改为非对称量化后，精度提升至97.8%。随后对第二层、第三层也采用相同策略，最终精度达到98.0%，满足目标。

结果对比：对称MinMax精度91.5% → 非对称百分位精度98.0%。推理速度方面，非对称量化增加了zero_point的加减操作，但CMSIS-NN的arm_convolve_s8 kernel通过预偏移优化，仅增加约3%的cycle开销。

风险与代价：非对称量化需要额外存储zero_point参数，且部分CMSIS-NN kernel版本对非零zero_point支持不完善，需检查CMSIS-NN版本更新日志。

复盘经验：量化参数选择应基于实际数据分布，而非默认配置。在嵌入式平台上，建议对每一层激活值进行分布统计，优先使用百分位校准，并针对偏正分布启用非对称量化。

3.5 常见误区与调优总结

经验提醒：不要盲目追求per-channel量化。在CMSIS-NN中，per-channel量化虽然能提升精度，但会显著增加kernel计算复杂度，在Cortex-M4/M7上可能导致性能下降30%以上。建议先尝试per-tensor + 非对称激活，若精度仍不达标，再对敏感层（如第一层和最后一层）单独使用per-channel。

常见误区包括：

忽略zero_point的溢出风险：在计算q = round(r/scale) + zero_point时，中间结果可能超出int8范围，需要使用int16中间变量。
校准集与测试集分布不一致：校准集应覆盖实际部署场景的数据分布，否则量化参数会失真。
混淆对称量化的范围：对称量化可以使用[-127, 127]或[-128, 127]，前者保证0的精确表示，后者多一个量化级别。CMSIS-NN默认使用[-128, 127]。
忽略反量化误差的累积：在多层网络中层间传递的是量化后的int8值，反量化仅发生在最终输出或特定层，误差不会逐层累积，但zero_point的系统偏移会累积。