📚 课程目录第2章模型量化基础

模型量化基础：量化原理、对称与非对称量化、量化参数（scale/zero-point）、精度与性能权衡

在嵌入式平台（如NXP i.MX 8M Plus、i.MX 93等）上部署深度学习模型时，INT8量化是最常用的模型压缩与加速手段。量化本质上是将浮点（FP32）权重和激活值映射到低比特整数（如INT8）的过程，从而减少内存占用、降低带宽压力并利用硬件加速单元（如NPU、DSP）提升推理速度。然而，量化并非无损操作，理解其数学原理、参数含义以及精度与性能的权衡关系，是正确使用eIQ工具包进行INT8部署的前提。本章将系统拆解量化核心概念，并结合NXP实际部署场景给出可操作的判断依据。

量化核心原理：从FP32到INT8的映射

量化是将连续或高精度离散值映射到有限低精度离散值的过程。在深度学习推理中，最常见的做法是线性（均匀）量化，即使用一个仿射变换将浮点实数域映射到整数域。设浮点值为 \( r \)，量化后的整数为 \( q \)，则基本关系为：

q = round(r / scale) + zero_point

其中 scale（缩放因子）是一个正浮点数，表示每个整数步长对应的浮点范围；zero_point（零点）是浮点值0映射到的整数，用于处理非对称分布。反量化为：

r = (q - zero_point) × scale

在NXP eIQ中，量化通常采用TensorFlow Lite（TFLite）或ONNX Runtime的量化方案，两者均基于上述线性量化模型。实际部署时，权重和激活值分别计算各自的scale和zero_point。权重的分布通常相对稳定，而激活值的范围需要根据代表性输入数据（校准集）统计得出。

  关键理解：量化不是简单的“四舍五入”，而是通过scale和zero_point两个参数，将浮点分布“平移+缩放”到整数域。误差主要来源于舍入误差和截断误差——当浮点值超出量化范围时会被截断，造成较大精度损失。

对称量化与非对称量化：原理与选择

根据zero_point是否为0，量化分为对称量化和非对称量化两种模式。

对比维度	对称量化	非对称量化
zero_point	固定为0	可为任意整数（通常非0）
映射公式	q = round(r / scale)	q = round(r / scale) + zero_point
浮点范围	[-max_abs, max_abs]	[min_val, max_val]
适用场景	权重（分布近似对称）	激活值（ReLU后非负分布）
硬件支持	NXP NPU原生支持	需额外计算zero_point偏移
精度表现	对非对称分布浪费精度	更充分利用INT8动态范围

在NXP i.MX 8M Plus的NPU中，权重通常强制使用对称量化，因为对称量化可以简化硬件计算逻辑（无需处理zero_point偏移）。而激活值则推荐使用非对称量化，因为经过ReLU等激活函数后，激活值分布往往偏向非负区间，非对称量化能更精细地表示有效数值范围。

实操建议：在eIQ Toolkit中，默认配置通常为“权重对称+激活非对称”。若模型包含大量负值激活（如使用tanh或LeakyReLU），可考虑全对称量化以简化部署，但需验证精度损失。

量化参数scale与zero-point的确定方法

scale和zero_point的确定是量化的核心步骤。对于权重，由于其在训练后固定不变，可以直接统计权重的实际数值范围。对于激活值，则需要通过校准过程确定——即使用代表性输入数据（通常为训练集或验证集的子集）运行模型，收集每一层激活值的统计分布。

权重量化参数：直接计算权重张量的min/max值，然后根据量化位宽（如INT8的[-128, 127]）计算scale和zero_point。
激活量化参数（校准）：在eIQ中，通过calibration_dataset指定校准数据，工具会自动统计激活分布。常用方法包括：
- MinMax：直接使用观察到的全局最小/最大值，简单但对异常值敏感。
- Percentile：使用99.99%分位数截断极端值，提高鲁棒性。
- MSE（均方误差）：选择使量化前后分布差异最小的截断范围，精度最优但计算量大。

# eIQ中校准配置示例（伪代码）
from eiq.quantization import Calibrator
calibrator = Calibrator(method='percentile', percentile=99.99)
calibrator.set_calibration_data(calibration_images)
quantized_model = calibrator.quantize(model, target='int8')

校准集的选择直接影响量化精度。理想情况下，校准集应覆盖模型部署时可能遇到的各种输入分布，通常建议使用500-1000张代表性图片或数据样本。校准集过少会导致激活范围估计不准，过多则增加校准时间。

精度与性能权衡：量化损失分析与优化策略

INT8量化带来的性能提升是显著的：模型体积减小至原来的1/4，推理速度在NXP NPU上通常可提升2-4倍，内存带宽压力大幅降低。然而，量化也会引入精度损失，尤其在以下场景中表现明显：

模型本身精度余量小（如接近过拟合的边缘场景）
存在极端值或长尾分布的权重/激活
小模型（如MobileNetV2）比大模型对量化更敏感
检测/分割任务比分类任务对边界框回归更敏感

在NXP eIQ部署流程中，建议遵循以下量化调优路径：

步骤	操作	预期效果
1	使用默认量化配置（权重对称+激活非对称）	快速获得基线精度
2	评估精度损失（对比FP32模型）	确定是否需进一步优化
3	调整校准方法（MinMax→Percentile→MSE）	改善激活范围估计
4	尝试混合量化（敏感层保留FP16/FP32）	平衡精度与加速比
5	使用量化感知训练（QAT）	恢复大部分精度损失

风险提示：在NXP i.MX 8M Plus上，若使用NPU加速，所有算子必须支持INT8。若模型中包含NPU不支持的算子（如某些自定义激活），这些算子会回退到CPU执行，导致整体延迟不降反升。务必在量化前检查算子兼容性。

案例拆解：基于eIQ的INT8量化实战

以下是一个实际部署案例，展示如何在NXP i.MX 8M Plus上完成一个图像分类模型的INT8量化与部署。

背景与约束：目标设备为i.MX 8M Plus（集成NPU，算力2.3 TOPS），部署模型为MobileNetV2（ImageNet预训练），输入尺寸224×224×3。要求推理延迟<30ms，精度损失<1%。

初始现象：直接使用eIQ默认量化配置（MinMax校准，500张校准图），量化后模型精度从71.2%降至68.5%，损失2.7%，超出预期。

分析过程：通过eIQ Profiler工具分析各层量化误差，发现第5层和第12层的激活值分布存在明显长尾，MinMax方法将量化范围拉宽，导致有效精度位不足。

优化操作：

将校准方法从MinMax改为Percentile（99.99%），重新量化，精度提升至69.8%。
对第5层和第12层使用MSE校准，其余层保持Percentile，精度提升至70.5%。
进一步尝试混合量化：将最后3层保留FP16（NPU支持混合精度），精度达到70.9%。

结果对比：

配置	精度（Top-1）	延迟（ms）	模型大小（MB）
FP32基线	71.2%	85	14.2
默认INT8	68.5%	18	3.6
优化INT8	70.9%	21	3.8

复盘经验：量化精度损失并非均匀分布，通过定位敏感层并针对性优化，可以在几乎不增加延迟的情况下恢复大部分精度。混合量化是精度与性能的折中方案，但需确认NPU对FP16算子的支持情况。

  总结：INT8量化是嵌入式AI部署的关键技术。理解对称/非对称量化的数学原理、掌握scale和zero_point的校准方法、熟悉精度与性能的权衡策略，是成功部署的前提。在NXP eIQ平台上，建议采用“默认配置→评估→针对性优化”的迭代流程，避免盲目追求极致量化而忽视实际部署效果。