2、量化基础回顾：掌握线性量化、对称/非对称量化、量化参数（scale、zero-point）等核心概念，为QAT打下基础

在进入QAT（量化感知训练）的细节之前，我们必须先夯实线性量化的数学与工程基础。QAT的核心思想是在训练过程中模拟量化带来的精度损失，从而让模型权重和激活值适应离散的量化网格。如果对量化参数（scale、zero-point）的物理含义、对称与非对称的适用场景、以及量化误差的来源缺乏系统理解，后续的伪量化节点设计、梯度近似和部署一致性都将成为空中楼阁。本节将系统梳理这些核心概念，并揭示它们与QAT训练流程之间的直接映射关系。

2.1 线性量化的数学本质与量化参数

线性量化（Linear Quantization）的核心思想是将连续的浮点数值映射到离散的整数网格上。这种映射是仿射变换（Affine Transformation），其数学表达式为：r = scale × (q - zero_point)，其中 r 表示原始浮点实数，q 表示量化后的整数，scale 是缩放因子（步长），zero_point 是零点偏移。反过来，从浮点到整数的量化过程为：q = round(r / scale + zero_point)。这里的 round 操作引入了不可避免的舍入误差，这是量化误差的根本来源之一。

scale 的物理含义是量化网格的分辨率，即每个整数步长代表的浮点数值范围。scale 越小，量化精度越高，但可表示的数值范围也越小。zero_point 则是一个整数偏移量，用于将浮点零点映射到整数域中的某个位置。在对称量化中，zero_point 固定为 0；在非对称量化中，zero_point 可以是非零整数，用于适配浮点数据分布不对称的情况（例如 ReLU 激活函数输出的非负值分布）。

在QAT中，这些量化参数不是静态的，而是随着训练过程动态更新。伪量化节点（Fake Quantize Node）在前向传播时模拟量化-反量化的完整过程，将浮点张量转换为“模拟量化后的浮点值”，从而让模型在训练阶段就感知到量化误差。反向传播时，由于 round 函数的梯度几乎处处为零，需要采用直通估计器（STE，Straight-Through Estimator）将梯度近似为恒等映射，即 ∂L/∂r ≈ ∂L/∂r̂，使得梯度能够正常回传。

2.2 对称量化与非对称量化的对比与选择

对称量化与非对称量化的本质区别在于 zero_point 是否为零，以及浮点范围的定义方式。对称量化将浮点范围定义为 [-a_max, a_max]，其中 a_max = max(|r_min|, |r_max|)，从而保证零点映射到整数零点。这种方式的优点是计算简单，不需要额外的 zero_point 偏移运算，适合权重分布近似关于零点对称的场景（如卷积核权重）。非对称量化则直接使用 [r_min, r_max] 作为浮点范围，zero_point 根据公式计算得出，能够更精细地利用量化网格，适合激活值分布明显偏向一侧的场景（如 ReLU 输出恒为非负）。

在实际的QAT工程中，通常采用混合策略：权重使用对称量化（因为权重分布通常接近高斯分布，对称性较好），激活值使用非对称量化（因为 ReLU 等激活函数导致分布偏移）。这种策略在 TensorFlow Lite 和 PyTorch 的 QAT API 中均有体现。例如，TensorFlow 的 tf.quantization.fake_quant_with_min_max_vars 允许分别指定权重的对称范围和激活的非对称范围。

2.3 量化误差的来源与影响分析

量化误差主要来源于三个方面：舍入误差（Rounding Error）、截断误差（Clipping Error）和范围估计误差（Range Estimation Error）。舍入误差是 round 操作导致的，其最大值为 0.5 × scale；截断误差发生在浮点值超出量化范围时，超出部分被强制映射到边界值；范围估计误差则源于校准数据集无法完全代表真实数据分布，导致统计的 min/max 不准确。

在QAT中，伪量化节点同时模拟了这三种误差。前向传播时，输入张量先被 clip 到 [r_min, r_max] 范围内，然后进行 scale 缩放和 round 取整，最后再反量化回浮点值。这一过程让模型在训练中“看到”量化后的效果，从而调整权重以适应量化噪声。然而，伪量化节点本身也会引入梯度估计偏差——STE 假设梯度为恒等映射，但实际量化函数的梯度在边界处是未定义的，这可能导致训练不稳定。

# 伪量化节点的简化实现（PyTorch风格）
def fake_quantize(x, scale, zero_point, q_min, q_max):
    # 1. 缩放
    x_scaled = x / scale + zero_point
    # 2. 截断
    x_clipped = torch.clamp(x_scaled, q_min, q_max)
    # 3. 舍入
    x_rounded = torch.round(x_clipped)
    # 4. 反量化
    x_dequantized = (x_rounded - zero_point) * scale
    return x_dequantized

为了缓解梯度估计问题，研究者提出了多种改进方案，如软量化（Soft Quantization）、噪声注入（Noise Injection）和可学习量化范围（Learnable Range）。其中，可学习量化范围方法将 scale 和 zero_point 作为可训练参数，通过梯度下降直接优化，能够显著提升QAT的收敛精度。例如，LSQ（Learned Step Size Quantization）方法将 scale 的梯度计算为：∂L/∂scale = ∂L/∂r̂ × (∂r̂/∂scale + ∂r̂/∂q × ∂q/∂scale)，其中第二项通过 STE 近似。

2.4 案例拆解：MobileNetV2 的QAT量化参数配置

为了将上述概念落地，我们以一个经典的 MobileNetV2 图像分类模型为例，演示QAT中量化参数的配置与调优过程。该模型在 ImageNet 数据集上预训练，目标是将 FP32 模型量化为 INT8 部署到移动端。

初始现象与目标：直接使用 PTQ（训练后量化）后，模型 Top-1 准确率从 71.8% 下降到 68.2%，损失 3.6 个百分点，无法满足业务要求（≥70%）。因此，需要采用QAT来恢复精度。

关键输入数据与参数：

• 校准数据集：从训练集中随机抽取 1000 张图片，用于统计每层激活值的 min/max。
• 量化配置：权重使用对称量化（int8，范围 [-128, 127]），激活值使用非对称量化（uint8，范围 [0, 255]）。
• QAT训练超参数：初始学习率 0.0001，使用余弦退火调度，训练 10 个 epoch，batch size 为 64。
• 伪量化节点插入位置：每个卷积层和全连接层之后，以及每个激活函数之后。

分析判断过程：在训练初期，我们观察到激活值的 min/max 波动较大，导致 scale 频繁变化，训练 loss 震荡。通过打印各层的 scale 值，发现第一层卷积的 scale 从 0.02 变化到 0.08，幅度过大。进一步分析发现，这是因为输入图像的像素值范围 [0, 255] 与模型内部特征分布差异较大，且 BatchNorm 层在训练初期尚未稳定。

实际操作步骤：

1. 在QAT训练前，先冻结 BatchNorm 参数（设置 bn.trainable = False），并运行 500 步预热，让激活分布稳定。
2. 将量化范围统计方式从“全局 min/max”改为“指数移动平均（EMA）”，衰减系数设为 0.99，平滑 scale 的更新。
3. 对第一层卷积的激活值，采用百分位截断（99.9%），避免极端像素值主导 scale 计算。
4. 在训练 5 个 epoch 后，解冻 BatchNorm，并降低学习率至 0.00005，进行微调。

结果对比：经过上述调整，QAT训练后的模型 Top-1 准确率达到 71.2%，仅比 FP32 模型低 0.6 个百分点，满足部署要求。同时，量化后的模型大小从 14.2MB 减小到 3.6MB，推理速度提升 2.8 倍。

风险与代价：QAT训练时间增加了约 30%（额外 10 个 epoch），且需要额外的校准数据集和超参数调优。此外，EMA 平滑系数和百分位截断阈值需要针对不同模型进行网格搜索，存在一定的调参成本。

2.5 总结复盘：量化基础对QAT的支撑作用

线性量化是QAT的数学基石，scale 和 zero_point 的准确估计直接决定了量化误差的大小。对称量化适合权重，非对称量化适合激活值，这一经验法则在绝大多数 CNN 模型中成立。量化误差的三类来源（舍入、截断、范围估计）在QAT中通过伪量化节点被显式建模，使得模型能够自适应地调整权重分布，减少量化敏感度。

从工程实践角度看，QAT的成功依赖于三个关键点：量化参数的正确初始化（通常从 PTQ 的统计结果开始）、伪量化节点的梯度近似（STE 及其变体）、以及训练超参数的精细调节（学习率、BatchNorm 冻结策略、EMA 平滑）。本节所建立的量化概念框架，将直接应用于后续章节中伪量化节点的具体实现、QAT训练流程的设计，以及部署时量化参数的对齐与校验。