二、量化基础回顾：量化原理、对称/非对称量化、量化参数（scale/zero-point）、精度与性能权衡

在进入 QAT（量化感知训练）与校准分布对齐的细节之前，我们必须先夯实量化本身的核心概念。量化本质上是将连续或高精度离散数值（通常是 FP32）映射到有限离散集合（如 INT8、INT4）的过程。这一映射并非简单的“取整”，而是涉及数值范围、精度损失、硬件指令集适配以及端侧推理引擎的底层实现。理解量化原理、对称/非对称策略以及 scale/zero-point 的数学含义，是后续设计校准方案、分析分布漂移的前提。本章将从数学定义出发，逐步拆解量化参数的计算逻辑，并讨论精度与性能之间的权衡关系。

量化核心要素与映射关系 FP32 张量 范围: [-10.0, 10.0] 精度: 高 量化参数 scale (s) = 0.0784 zero-point (z) = 128 对称: z=0 / 非对称: z≠0 INT8 张量 范围: [0, 255] 精度: 低 量化公式: q = round( r / scale ) + zero_point 反量化: r = (q - zero_point) × scale 对称量化 范围: [-127, 127] 或 [-128, 127] zero-point = 0，适合权重 非对称量化 范围: [0, 255] zero-point ≠ 0，适合激活值

2.1 量化原理：从连续域到离散域的映射

量化的核心思想是用有限个离散值来近似表示连续的浮点数值。在深度学习推理中，我们通常将 FP32 的权重和激活值转换为 INT8 或更低比特的整数表示，从而减少内存占用、降低带宽压力并利用硬件加速指令（如 ARM 的 SDOT、x86 的 VPMADDUBSW）。量化过程可以看作是一个有损压缩过程，其信息损失程度取决于原始数据的分布形态、量化位宽以及映射策略。

从数学角度看，量化定义了一个从实数域 R 到整数集合 Q 的映射函数。设原始浮点值为 r，量化后的整数值为 q，则基本量化公式为：

q = clamp( round( r / scale ) + zero_point, q_min, q_max )

其中 scale 是缩放因子（浮点数），zero_point 是零点偏移（整数），q_min 和 q_max 是量化范围的下界和上界（例如 INT8 的 -128 和 127，或 UINT8 的 0 和 255）。反量化过程则是上述公式的逆运算：

r_approx = ( q - zero_point ) × scale

这里的关键在于 scale 和 zero_point 的选择直接决定了量化误差的大小。如果原始数据分布范围较广且均匀，量化误差相对可控；如果分布存在长尾或极端离群值，量化误差会显著增大。这也是后续章节中“校准分布对齐”要解决的核心问题——让校准数据的分布尽可能接近真实推理时的数据分布。

核心理解：量化不是简单的“除以最大值再乘以255”，而是需要根据数据分布动态计算 scale 和 zero_point。一个常见的错误是直接使用 min/max 作为量化范围，这会导致离群值主导 scale，使得正常数据区间的量化精度严重下降。

2.2 对称量化与非对称量化：适用场景与数学表达

根据 zero_point 是否为 0，量化策略分为对称量化和非对称量化两种。两种策略在数学表达、硬件适配和实际应用场景上存在显著差异。

2.2.1 对称量化

对称量化中，zero_point 固定为 0，量化范围关于原点对称。对于 INT8 对称量化，量化范围通常为 [-127, 127]（保留 -128 用于特殊值）或 [-128, 127]。其 scale 计算方式为：

scale = max( |r_min|, |r_max| ) / 127

对称量化的优势在于实现简单，不需要额外存储 zero_point，且卷积运算中的乘加操作可以避免 zero_point 带来的额外计算开销。然而，如果激活值分布明显偏向正区间（例如 ReLU 的输出），对称量化会浪费一半的量化范围，导致精度损失。

2.2.2 非对称量化

非对称量化允许 zero_point 不为 0，量化范围可以完全覆盖数据的实际分布区间 [r_min, r_max]。其 scale 和 zero_point 计算如下：

scale = ( r_max - r_min ) / ( q_max - q_min )
zero_point = q_min - round( r_min / scale )

非对称量化能够更充分地利用量化范围，尤其适合分布不均匀的激活值（如经过 ReLU 后的非负值）。但代价是需要额外存储和计算 zero_point，在硬件实现上会增加少量开销。

对比维度 对称量化 非对称量化
zero-point 值 固定为 0 任意整数（通常非 0）
量化范围 [-127, 127] 或 [-128, 127] [0, 255]（UINT8）或自定义范围
计算复杂度 低（无需处理 zero-point） 中（需额外处理 zero-point）
适用场景 权重（分布近似对称） 激活值（分布偏斜或单侧）
硬件友好度 高（多数 DSP/GPU 原生支持） 中（部分硬件需软件补偿）
精度表现 对偏斜分布精度较差 对偏斜分布精度较好
工程经验：在 QAT 训练中，通常对权重使用对称量化（因为训练后的权重分布近似高斯且关于原点对称），对激活值使用非对称量化（因为 ReLU 等激活函数使输出非负）。这种混合策略在 TensorRT、TFLite 等主流推理引擎中已成为默认配置。

2.3 量化参数（scale/zero-point）的确定方法

scale 和 zero-point 的确定是量化流程中最关键的步骤。不同的确定方法会直接影响量化误差的分布。以下是三种主流方法：

  1. Min-Max 方法：直接使用张量的最小值和最大值作为量化边界。实现简单，但对离群值敏感。例如，若激活值中有少量 100 以上的离群点，而 99% 的数据集中在 [0, 10] 区间，则 scale 会被拉大 10 倍，导致正常数据的量化步长过大，精度急剧下降。
  2. 百分位方法（Percentile）：截取分布的某个百分位（如 99.9%）作为最大值，忽略极端离群值。这种方法在 NLP 和推荐模型中常用，能有效抑制离群值的影响。但需要预先统计分布，且百分位选择需要经验调优。
  3. KL 散度最小化方法：通过最小化原始分布与量化后分布之间的 KL 散度来确定最优的量化边界。这种方法在 TensorRT 中广泛使用，能够自适应地找到信息损失最小的截断点。计算量较大，但精度通常优于前两种方法。

在 QAT 训练中，scale 和 zero-point 通常不是静态计算的，而是作为可学习的参数（或通过直通估计器 STE 反向传播）在训练过程中动态更新。这使得模型能够主动适应量化噪声，从而在量化后保持较高精度。

2.4 精度与性能权衡：量化位宽与误差分析

量化带来的性能提升是显著的：INT8 相比 FP32 可以减少 4 倍内存占用，在支持 SIMD 指令的处理器上可实现 2-4 倍的推理加速。然而，精度损失是不可避免的。理解精度与性能的权衡关系，有助于在实际项目中做出合理的量化方案选择。

2.4.1 量化误差的来源

  • 舍入误差：由 round 操作引入，最大误差为 0.5 × scale。
  • 截断误差：当原始值超出量化范围时被截断，误差可能远大于舍入误差。
  • 累积误差：多层量化误差的累积，尤其在深层网络中可能被放大。

2.4.2 不同位宽的权衡

位宽 内存节省 理论加速比 精度损失 典型应用
FP32 1×（基准） 1× 无 训练、高精度推理
FP16 2× 1.5-2× 极小 GPU 推理、混合精度训练
INT8 4× 2-4× 较小（需校准） 边缘设备、移动端推理
INT4 8× 4-8× 较大（需 QAT） 极端压缩场景
风险提示：不要盲目追求低比特量化。INT4 虽然内存占用极低，但精度下降可能超过 5%，且对校准分布极其敏感。在实际部署前，务必使用验证集评估量化模型的精度，并设置可接受的精度阈值（如 Top-1 准确率下降不超过 1%）。

2.5 案例拆解：MobileNetV2 的 INT8 量化参数确定

我们以一个实际案例来说明量化参数确定的全过程。假设我们要对 MobileNetV2 的第一层卷积进行 INT8 量化，该层输入为 224×224×3 的 RGB 图像。

背景与约束：目标硬件为 ARM Cortex-A76 内核，支持 INT8 DOT 指令。要求量化后 Top-1 准确率下降不超过 2%。

初始现象：使用简单的 Min-Max 方法量化后，准确率下降了 4.7%，超出预期。

分析过程：

  1. 统计输入激活值的分布，发现存在少量像素值为 255 的饱和点（约占 0.3%），而 99% 的像素值集中在 [0, 120] 区间。
  2. Min-Max 方法计算得到 scale = 255/127 ≈ 2.008，导致 [0, 120] 区间仅使用了约 60 个量化级别，量化步长为 2.008，精度损失严重。
  3. 改用 99.9% 百分位方法，截断值为 128，计算 scale = 128/127 ≈ 1.008，量化步长减半，精度明显改善。

实际操作步骤：

# 伪代码示例
import numpy as np

# 收集校准数据（1000 张验证集图像）
calib_data = load_calibration_images()

# 统计激活值分布
act_values = []
for img in calib_data:
    act = first_conv(img)
    act_values.append(act.flatten())
act_values = np.concatenate(act_values)

# 方法1: Min-Max
scale_minmax = np.max(np.abs(act_values)) / 127.0

# 方法2: 99.9% 百分位
max_val = np.percentile(np.abs(act_values), 99.9)
scale_percentile = max_val / 127.0

# 方法3: KL 散度最小化（简化版）
def kl_divergence(hist, q_hist):
    return np.sum(hist * np.log(hist / q_hist))
# 遍历不同截断点，选择 KL 散度最小的 scale

结果对比：

方法 Scale 值 Top-1 准确率 准确率下降
FP32 基线 — 71.8% —
Min-Max 2.008 67.1% 4.7%
99.9% 百分位 1.008 70.9% 0.9%
KL 散度最小化 0.984 71.2% 0.6%

复盘经验：Min-Max 方法对离群值过于敏感，在图像分类任务中，饱和像素点（如纯白区域）会严重干扰量化参数。百分位方法和 KL 散度方法都能有效抑制离群值影响，但 KL 散度方法在分布复杂时表现更稳定。此外，在 QAT 训练中，我们还可以将 scale 初始化为百分位方法的结果，然后通过训练微调，使模型适应量化噪声。

2.6 常见误区与总结复盘

在量化基础实践中，以下误区值得特别注意：

  • 误区一：认为量化范围越宽越好。实际上，过宽的量化范围会导致正常数据区间的量化步长过大，精度反而下降。正确的做法是根据数据分布选择合适的截断点。
  • 误区二：忽略 zero-point 的影响。在非对称量化中，zero-point 的舍入误差会直接影响反量化后的数值。在 QAT 中，zero-point 也应参与梯度更新。
  • 误区三：将权重和激活值使用相同的量化策略。权重分布通常对称，激活值分布通常偏斜，应分别采用对称和非对称量化。
  • 误区四：量化后不进行微调（PTQ vs QAT）。对于大模型或低比特量化，直接后训练量化（PTQ）往往精度不足，必须使用 QAT 让模型适应量化噪声。
本章总结：量化是 QAT 的基础，理解 scale 和 zero-point 的数学含义及确定方法，是设计校准分布对齐策略的前提。对称量化适合权重，非对称量化适合激活值；Min-Max 方法简单但脆弱，百分位和 KL 散度方法更稳健。精度与性能的权衡需要根据实际任务设定量化目标，并通过实验验证。在后续章节中，我们将基于这些基础概念，深入探讨如何通过 QAT 训练和校准分布对齐来进一步缩小量化误差。
← 上一章 📖 返回目录 下一章 →