3、INT8量化原理：对称量化、非对称量化、缩放因子与零点偏移
在将训练好的浮点模型部署到NXP eIQ开发板时，INT8量化是压缩模型体积、提升推理速度并降低内存带宽需求的核心手段。eIQ工具链（基于TensorFlow Lite for Microcontrollers或Glow）对INT8的支持依赖于对量化参数的精确计算。本章将深入剖析对称量化与非对称量化的数学本质，重点讲解缩放因子（Scale）与零点偏移（Zero Point）的推导过程，并结合NXP i.MX 8M Plus上的NPU实际约束，给出可落地的量化参数选择策略。
3.1 量化映射的数学基础
INT8量化的本质是将连续的浮点实数映射到离散的8位整数空间。设浮点张量的取值范围为 \([r_{min}, r_{max}]\)，量化后的整数范围为 \([q_{min}, q_{max}]\)（对于INT8，通常为 \([-128, 127]\) 或 \([0, 255]\)）。量化过程可表示为：
r = S × (q - Z)其中，\(S\)（Scale，缩放因子）为浮点实数，表示每个整数步长对应的浮点间隔；\(Z\)（Zero Point，零点偏移）为整数，表示浮点值0对应的量化整数。反量化过程则通过 \(q = round(r/S) + Z\) 实现。这一映射关系是所有INT8推理的基础，NXP eIQ工具链在转换模型时，会为每个张量（权重、激活值）独立计算 \(S\) 和 \(Z\)。
3.2 对称量化：原理与适用场景
对称量化将浮点范围映射到关于原点对称的整数区间，即 \(Z = 0\)。此时量化公式简化为 \(r = S × q\)。对于权重张量，其分布通常接近以0为中心的高斯分布，因此对称量化不会引入额外的零点偏移误差。NXP i.MX 8M Plus的NPU在硬件层面针对对称量化做了优化，乘加运算无需处理零点偏移，可减少一次整数加减法操作，从而降低计算延迟。
对称量化的缩放因子计算方式为：
S = max(|r_min|, |r_max|) / 127这里使用127而非128，是为了确保浮点最大值映射到127，避免溢出。例如，某卷积层的权重范围为 \([-0.85, 0.92]\)，则 \(S = 0.92 / 127 ≈ 0.007244\)。量化后的整数为 \(q = round(r / 0.007244)\)，其中0.92映射到127，-0.85映射到约-117。
3.3 非对称量化：零点偏移的作用
激活值（如ReLU的输出）往往分布在一个非对称区间，例如 \([0, 6]\)。若强行使用对称量化，则负半轴的量化区间被浪费，导致精度下降。非对称量化通过引入零点偏移 \(Z\)，将浮点范围完整映射到 \([0, 255]\)（或 \([-128, 127]\)）。其缩放因子和零点偏移计算如下：
S = (r_max - r_min) / (q_max - q_min)
Z = round(q_min - r_min / S)以ReLU激活输出范围 \([0.0, 6.0]\) 为例，若量化到 \([0, 255]\)，则 \(S = 6.0 / 255 ≈ 0.02353\)，\(Z = round(0 - 0 / 0.02353) = 0\)。但若激活范围为 \([-2.0, 4.0]\)，则 \(S = 6.0 / 255 ≈ 0.02353\)，\(Z = round(0 - (-2.0)/0.02353) = round(85.0) = 85\)。此时浮点值0对应整数85，而非0。
| 量化类型 | 缩放因子公式 | 零点偏移 | 适用张量 | NXP NPU计算开销 |
|---|---|---|---|---|
| 对称量化 | max(|r_min|,|r_max|)/127 | 固定为0 | 权重、偏置 | 低（无偏移修正） |
| 非对称量化 | (r_max-r_min)/255 | round(q_min - r_min/S) | 激活值、中间特征图 | 中（需额外减法） |
3.4 缩放因子与零点偏移的校准流程
在NXP eIQ开发板上部署时，量化参数的确定依赖于“校准数据集”的统计。具体流程如下：
- 准备校准数据：选取100~500张具有代表性的输入图片（或传感器数据），覆盖典型工况。
- 运行浮点模型：在eIQ推理引擎中，以FP32精度运行模型，记录每一层激活值的实际分布范围。
- 统计极值：对每个激活张量，收集所有校准样本的最小值和最大值，作为 \(r_{min}\) 和 \(r_{max}\)。
- 计算参数：根据张量类型选择对称或非对称公式，计算S和Z。
- 写入量化表：eIQ工具生成量化参数文件（如YAML或JSON），供INT8模型编译使用。
3.5 案例拆解：MobileNetV2在NXP i.MX 8M Plus上的量化参数调优
背景与约束：某工业视觉项目需在NXP i.MX 8M Plus（内置NPU，算力2.3 TOPS）上运行MobileNetV2图像分类模型。原始FP32模型大小为14MB，推理延迟为45ms，内存占用120MB。目标是将模型压缩至4MB以内，延迟降至15ms以下，同时Top-1准确率下降不超过2%。
初始现象：直接使用eIQ默认的“全对称量化”策略，模型大小降至3.8MB，延迟降至12ms，但Top-1准确率从92.1%下降至87.5%，超出容忍范围。
分析过程：通过eIQ的量化调试工具，打印各层激活值的分布。发现第3层、第7层和第15层的ReLU6激活值范围分别为 \([0, 5.2]\)、\([0, 4.8]\) 和 \([0, 6.0]\)，分布明显偏向正区间。对称量化将负半轴区间浪费，导致有效量化步长增大，量化噪声增加。
操作步骤：
- 在eIQ Portal中，将“Activation Quantization”策略从“Symmetric”改为“Asymmetric”（仅针对激活值）。
- 重新运行校准流程，使用500张工业零件图片作为校准集。
- 检查生成的量化参数表，确认第3层激活值的 \(Z\) 值从0变为约12，\(S\) 值从0.041变为0.020。
- 编译并部署到开发板，运行推理测试。
结果对比：
| 指标 | FP32基线 | 全对称量化 | 混合量化（对称权重+非对称激活） |
|---|---|---|---|
| 模型大小 | 14MB | 3.8MB | 3.9MB |
| 推理延迟 | 45ms | 12ms | 13ms |
| Top-1准确率 | 92.1% | 87.5% | 90.8% |
| 内存占用 | 120MB | 35MB | 36MB |
风险与代价：混合量化使延迟增加1ms（约8%），但换来了3.3%的准确率提升。内存占用几乎不变。该方案最终被采纳。
复盘经验：对于MobileNetV2这类深度可分离卷积网络，激活值分布的非对称性显著，必须使用非对称量化。而权重分布接近高斯，对称量化足够。此规律适用于大多数轻量级CNN模型。
3.6 常见误区与总结
- 误区一：所有张量都使用对称量化。这会导致激活值量化精度不足，尤其当激活值全为正时，浪费一半量化区间。
- 误区二：忽略零点偏移的计算误差。\(Z\) 值必须四舍五入为整数，但四舍五入会引入最大0.5个步长的误差。对于小范围张量（如 \([-0.1, 0.1]\)），此误差可能放大。
- 误区三：校准集数量不足。少于50张图片的校准集无法覆盖极端值，导致量化参数偏保守或偏激进。
- 误区四：混淆INT8范围。NXP NPU支持 \([-128, 127]\) 和 \([0, 255]\) 两种模式，但eIQ默认使用 \([-128, 127]\)。若手动设置范围错误，会导致溢出。