量化基础回顾：定点数表示、对称/非对称量化、量化参数与量化误差来源

在QAT（量化感知训练）的完整技术栈中，量化基础是理解梯度传播与噪声适配的前提。无论是后训练量化（PTQ）还是量化感知训练，其底层都依赖统一的数学映射：将高精度浮点张量（通常为FP32）映射到低比特整数域（如INT8、INT4）。如果对定点数表示、量化参数（scale/zero-point）以及误差来源缺乏系统认知，后续的伪量化节点设计、梯度近似策略和噪声适配都将失去理论支撑。本节将系统梳理量化的核心概念，并重点剖析量化误差的数学本质与工程表现。

定点数表示：从浮点到定点的数学映射

定点数表示是量化的数学基础。在深度学习推理中，我们通常使用IEEE 754 FP32格式存储权重和激活值，其动态范围可达约\(10^{-38}\)到\(10^{38}\)。然而，FP32的存储开销和计算复杂度在边缘设备上难以承受。定点数通过固定小数点位置，用有限位宽表示实数，其核心公式为：

定点值 = 整数部分 × 2^(小数位宽) + 小数部分

在神经网络量化中，更常用的表示方式为仿射映射（Affine Mapping），它将浮点实数\(r\)映射到整数\(q\)：

q = clamp(round(r / scale) + zero_point, q_min, q_max)

其中，scale（缩放因子）和zero_point（零点偏移）是量化参数。反量化过程为：

r̃ = (q - zero_point) × scale

定点数表示的核心优势在于：整数运算在硬件上比浮点运算快数倍，且功耗更低。例如，在ARM Cortex-A系列CPU上，INT8乘累加（MAC）操作比FP32快约2-4倍，在NVIDIA Tensor Core上则快约8倍。但定点数表示也引入了精度损失，这正是QAT需要解决的挑战。

对称量化与非对称量化：原理与选择

根据zero-point的取值，量化可分为对称量化和非对称量化两种模式。

对称量化假设浮点数据分布关于原点对称，因此zero-point恒为0。其优点是计算简单，在卷积运算中无需额外处理zero-point的加法操作。但若激活值经过ReLU后全为非负，对称量化会浪费一半的量化范围。例如，若激活值范围为[0, 6.0]，对称量化会将其映射到[-128, 127]，实际有效范围仅使用一半。

非对称量化通过引入zero-point，将浮点范围[r_min, r_max]精确映射到整数范围[q_min, q_max]。其优势在于能充分利用量化范围，对非对称分布（如ReLU输出）精度更高。代价是计算时需要额外处理zero-point的加减法，增加少量计算开销。

量化参数详解：scale与zero-point的确定方法

量化参数的确定是量化流程的核心步骤。scale决定了浮点数值到整数数值的缩放比例，zero-point则负责对齐浮点零点与整数零点。两者的计算公式如下：

scale = (r_max - r_min) / (q_max - q_min)
zero_point = q_min - round(r_min / scale)

在实际工程中，确定scale和zero-point的常用方法包括：

1. MinMax校准：直接使用张量的最小值和最大值计算scale和zero-point。简单快速，但对异常值敏感。
2. 百分位校准：使用分布的百分位（如99.99%）替代极值，减少异常值影响。
3. KL散度校准：通过最小化浮点分布与量化分布的KL散度，找到最优截断范围。常用于TensorRT等推理引擎。
4. MSE最小化校准：选择使量化前后张量均方误差最小的截断范围。

在QAT中，scale和zero-point通常作为可学习参数或通过移动平均（EMA）在训练过程中动态更新。例如，Google的LSQ（Learned Step Size Quantization）方法将scale视为可学习参数，通过梯度下降优化。

量化误差来源：数学本质与工程表现

量化误差是量化前后浮点值与反量化值之间的差异，其来源可归纳为三类：

1. 舍入误差（Rounding Error）：由round()操作引起，将连续浮点值映射到最近整数时产生。该误差均匀分布在\([-0.5\Delta, 0.5\Delta]\)区间内，其中\(\Delta\)为scale。舍入误差的方差为\(\Delta^2/12\)，与scale的平方成正比。减小scale（即增大量化位宽或缩小浮点范围）可有效降低舍入误差。

2. 截断误差（Clipping Error）：当浮点值超出量化范围[r_min, r_max]时，clamp操作将其截断到边界值，导致较大误差。截断误差的大小取决于超出范围的数据比例和幅度。在权重分布存在长尾时，截断误差尤为显著。通过合理选择截断范围（如使用百分位而非极值）可缓解此问题。

3. 精度误差（Precision Error）：由位宽限制导致的分辨率不足。例如，INT8仅有256个离散级别，无法精确表示浮点值的细微差异。精度误差在数值分布极不均匀时表现明显，如权重集中在零附近但存在少量大值。

案例拆解：MobileNetV2的INT8量化误差分析

为具体说明量化误差的影响，我们以MobileNetV2在ImageNet分类任务上的INT8量化为例进行拆解。

背景与约束：MobileNetV2使用深度可分离卷积，其权重分布具有特殊性——深度卷积（DW）层的权重分布较集中，而逐点卷积（PW）层的权重分布较分散。目标是将模型从FP32压缩到INT8，同时保持Top-1准确率下降不超过2%。

初始现象：直接使用MinMax校准进行后训练量化（PTQ），模型准确率从71.8%降至67.3%，下降4.5%，超出预期。进一步分析发现，各层量化误差分布极不均衡：第3层和第7层的PW卷积层误差贡献最大，占总误差的62%。

关键数据与指标：

• 第3层PW卷积权重范围：[-0.42, 0.38]，分布近似对称，但存在少量异常值（约0.3%的权重超过±0.35）
• 第7层激活值范围：[0, 12.8]，分布严重右偏，90%的激活值集中在[0, 2.0]区间
• 使用MinMax校准后，第3层scale=0.0031，第7层scale=0.0502

分析判断过程：

1. 第3层权重存在长尾分布，MinMax校准导致scale偏大，舍入误差增大。改用99.99%百分位校准后，scale降至0.0024，该层误差降低38%。
2. 第7层激活值分布极不均匀，对称量化会浪费一半范围。改用非对称量化后，有效量化范围从[-128,127]变为[0,255]，分辨率提升一倍，该层误差降低52%。
3. 进一步使用KL散度校准，对第7层选择截断范围[0, 8.0]，虽然引入少量截断误差，但整体MSE降低。

实际操作步骤：

# 伪代码示例：逐层校准策略
for layer in model.layers:
    if layer.type == 'PW_Conv':
        # 权重使用百分位校准
        scale_w = percentile(layer.weight, 99.99) / 127
        # 激活使用非对称量化
        min_a, max_a = percentile(layer.activation, 0.01), percentile(layer.activation, 99.99)
        scale_a = (max_a - min_a) / 255
        zero_point_a = -round(min_a / scale_a)
    elif layer.type == 'DW_Conv':
        # 深度卷积权重分布集中，使用MinMax即可
        scale_w = max(abs(layer.weight)) / 127

结果对比：采用混合校准策略后，模型准确率恢复至70.9%，仅下降0.9%，满足要求。同时，推理速度提升3.2倍，模型大小从14MB降至3.5MB。

风险与代价：逐层校准需要额外的校准数据集和计算时间，且不同校准策略的适用性需通过验证集评估。此外，百分位校准对异常值的容忍度需谨慎选择，过高会引入截断误差，过低则无法消除异常值影响。

复盘经验：量化误差的分布极不均匀，逐层分析误差贡献是定位问题的关键。对称/非对称量化的选择应基于数据分布特征，而非统一规则。在QAT中，这些校准策略可作为初始化，再通过训练进一步优化scale和zero-point。

常见误区与总结复盘

在量化基础的学习和实践中，以下误区值得警惕：

• 误区一：认为量化误差仅由位宽决定。实际上，scale的选择和截断范围的确定对误差影响更大。相同位宽下，合理的校准策略可显著降低误差。
• 误区二：对称量化一定优于非对称量化。对称量化计算简单，但对非对称分布精度损失大。应根据数据分布特征选择。
• 误区三：忽略zero-point的影响。在非对称量化中，zero-point的舍入误差会累积到每个元素的量化结果中，尤其在激活值范围较小时影响显著。
• 误区四：将量化误差视为均匀噪声。实际上，截断误差在边界处集中，舍入误差与scale相关，不同层的误差分布差异巨大。