📚 课程目录第3章模型量化基础

3、模型量化基础：理解量化定义、定点与浮点、量化参数（scale、zero_point）、对称与非对称量化、量化精度损失来源

在进入RKNN Toolkit2的量化配置实操之前，必须先建立扎实的量化理论基础。量化本质上是将神经网络中高精度的浮点权重与激活值，映射到低比特位宽的整数表示，从而换取更小的模型体积、更低的内存带宽占用以及更高效的NPU推理速度。瑞芯微的RKNN系列NPU（如RK3588、RK3576等）原生支持INT8/INT16量化推理，若不了解量化参数的含义与精度损失机制，后续配置量化策略时极易出现“模型精度崩坏”或“性能提升不明显”的问题。本章将系统拆解量化的核心概念，为后续章节的RKNN Toolkit2配置操作奠定理论基石。

上图展示了量化理论的核心框架：浮点与定点之间的转换依赖量化参数（scale与zero_point），而对称/非对称量化决定了zero_point的取值方式，最终精度损失来源于映射过程中的信息丢失。下面我们将逐一深入剖析。

3.1 量化定义与定点/浮点本质

核心原理：量化（Quantization）是将连续取值的浮点数（通常为FP32）映射到离散取值的整数（如INT8）的过程。在深度学习推理中，权重和激活值经过量化后，NPU可以使用整数乘加运算替代浮点运算，大幅提升吞吐量并降低功耗。定点数（Fixed-point）是量化后的整数表示，其数值范围由位宽决定：INT8范围为[-128, 127]（有符号）或[0, 255]（无符号），INT16范围为[-32768, 32767]。

判断方法：在实际工程中，判断一个模型是否适合量化，需要观察权重和激活值的分布特征。若分布近似均匀且无极端离群值，量化损失较小；若分布存在长尾或极端峰值，则需要采用逐通道量化或混合精度策略。

数据类型	位宽	表示范围	典型用途
FP32	32	±3.4×10^38	训练基准、精度对照
FP16	16	±65504	混合精度训练
INT8	8	-128~127	NPU推理主力格式
INT16	16	-32768~32767	高精度需求场景

经验提醒：RKNN Toolkit2默认推荐INT8量化，但对于检测头或分割头等对精度敏感的网络层，可考虑保留FP16或使用INT16混合量化。

3.2 量化参数：scale与zero_point的数学含义

核心原理：量化映射的核心公式为：r = scale × (q - zero_point)，其中r为原始浮点值，q为量化后的整数值，scale为缩放因子（浮点数），zero_point为整数零点偏移。scale决定了浮点数值到整数刻度的步长，zero_point则保证浮点0值在量化域中能被精确表示（对非对称量化尤为重要）。

操作流程：在RKNN Toolkit2中，量化参数的确定通常通过校准数据集（Calibration Dataset）统计激活值的动态范围来完成。具体步骤为：

准备100~500张具有代表性的校准图片（覆盖各类别、光照、角度）。
运行模型前向推理，收集每层激活值的min/max统计量。
根据min/max计算scale：scale = (max - min) / 255（非对称INT8）。
计算zero_point：zero_point = round(-min / scale)，并限制在[0, 255]范围内。

# 伪代码示例：计算非对称量化参数
min_val = -6.5
max_val = 8.2
scale = (max_val - min_val) / 255  # 0.0576
zero_point = round(-min_val / scale)  # 113
# 验证：浮点0对应整数113，反量化后为 0.0576*(113-113)=0

风险提示：若校准集分布与真实推理数据分布差异过大，会导致scale估计偏差，进而放大量化误差。建议校准集至少覆盖真实场景的80%以上特征。

3.3 对称量化与非对称量化对比

核心原理：对称量化强制zero_point=0，即浮点0映射到整数0，量化范围关于原点对称。其优点是计算简单（无需零点偏移），适合权重这类分布近似对称的数据。非对称量化允许zero_point非零，能更精细地利用整数表示范围，适合激活值（如ReLU输出恒非负）这类分布偏移的数据。

案例拆解：以YOLOv5s模型为例，其卷积层权重分布近似高斯对称，使用对称量化后精度损失约0.5% mAP；而激活层经过ReLU后分布集中在[0, 12]区间，若使用对称量化，则负半轴区间被浪费，有效分辨率降低，导致精度损失达2.1% mAP。改用非对称量化后，激活层精度损失降至0.8% mAP。

对比维度	对称量化	非对称量化
zero_point	恒为0	可为任意整数
计算复杂度	低（无需偏移修正）	较高（需额外偏移运算）
适用场景	权重、分布对称的激活	分布偏移明显的激活
RKNN支持	支持（默认权重量化）	支持（激活量化常用）

实战建议：在RKNN Toolkit2中，可通过配置文件分别指定权重和激活的量化方式。通常权重使用对称量化，激活使用非对称量化，以平衡精度与计算效率。

3.4 量化精度损失来源与应对策略

核心原理：量化精度损失主要来源于三个方面：舍入误差（浮点值映射到整数时四舍五入导致的信息丢失）、动态范围裁剪（超出量化范围的极端值被截断）、梯度失配（量化后的前向传播与训练时的浮点梯度不一致）。在推理阶段，前两者是主要因素。

判断方法：当量化后模型精度下降超过可接受阈值（如mAP下降>1%），需分析损失来源：

若损失集中在特定层，检查该层激活值是否存在极端离群值（如>10×中位数）。
若整体精度均匀下降，可能是校准集代表性不足或scale计算偏差。
若检测框回归精度下降明显，考虑对回归头使用更高精度量化（如INT16）。

案例闭环：某安防场景的RK3588部署项目，使用RKNN Toolkit2对ResNet50分类模型进行INT8量化后，Top-1准确率从76.3%降至71.8%。分析发现：校准集仅使用100张室内图片，而实际场景包含大量户外强光图片，导致激活值动态范围被低估。解决方案：

重新采集500张覆盖室内外、不同光照条件的校准图片。
在量化配置中启用optimize_level为2（更精细的逐通道量化）。
对最后一个全连接层保留FP16精度。

优化后Top-1准确率恢复至75.6%，仅损失0.7%，推理速度保持与全INT8一致。

风险说明：不要盲目追求全INT8量化。对于关键任务（如人脸识别、医疗影像），建议保留部分敏感层为FP16，或使用量化感知训练（QAT）微调模型。

3.5 常见误区与总结复盘

误区一：认为量化就是简单的“除以255”。实际上，scale和zero_point需要根据每层数据分布动态计算，且不同层参数不同。

误区二：忽略校准集的重要性。校准集数量不足或分布偏差是量化精度损失的首要原因。

误区三：混淆对称与非对称量化的适用场景。对ReLU后的激活使用对称量化会浪费一半的表示范围。

总结：量化是RKNN NPU高效推理的基石。理解定点/浮点差异、掌握scale与zero_point的计算逻辑、区分对称/非对称量化适用场景、识别精度损失来源，是后续配置RKNN Toolkit2量化参数的前提。建议在实际项目中，先使用默认量化配置跑通流程，再根据精度表现逐步调优校准集和量化策略。