量化基础：模型量化原理、定点与浮点表示、对称与非对称量化、量化误差来源
在进入QAT（量化感知训练）的调度与BatchNorm冻结策略之前，必须先建立扎实的量化理论基础。量化本质上是一种信息压缩技术，它将神经网络中高精度的连续权重和激活值，映射到有限离散集合上。这一过程直接决定了后续所有训练调度的有效性。本章将系统拆解量化的核心原理、数值表示体系、两种主流量化范式以及误差产生的数学根源，为后续实战操作提供理论支点。
模型量化原理：从连续域到离散域的映射
模型量化的核心思想是用低精度数值格式（如INT8）近似高精度浮点格式（如FP32）中的权重和激活值。在深度学习中，权重和激活值通常分布在有限范围内，且对噪声有一定容忍度，这为量化提供了可行性。量化过程可以形式化地表示为：r = S × (q - Z)，其中r是原始浮点值，q是量化后的整数值，S是缩放因子（Scale），Z是零点偏移（Zero Point）。这个公式建立了浮点域与整数域之间的双向映射。
从信息论角度看，量化是一个有损压缩过程。FP32格式提供约23位有效精度，而INT8仅提供8位有效精度，这意味着量化后每个数值的表示精度降低了约16倍。然而，神经网络模型通常具有参数冗余性，适度的量化不仅不会显著影响精度，反而能带来推理速度的大幅提升和内存占用的显著减少。例如，在边缘设备上，INT8量化后的模型推理速度可提升2-4倍，模型体积缩小至原来的1/4。
量化粒度是另一个关键维度。逐张量量化（Per-Tensor）对整个张量使用统一的S和Z，实现简单但精度损失较大；逐通道量化（Per-Channel）对每个输出通道独立计算S和Z，精度更高但计算复杂度增加。在实际工程中，权重通常采用逐通道量化，而激活值由于动态范围变化较大，常采用逐张量量化或动态量化。
定点与浮点表示：精度与范围的权衡
浮点表示法（如FP32、FP16）通过符号位、指数位和尾数位的组合，能够表示极大范围的数值，同时保持相对一致的相对精度。FP32使用1位符号、8位指数和23位尾数，动态范围约为1e-38到3.4e38。这种设计使得浮点格式非常适合训练阶段，因为梯度值可能跨越多个数量级。
定点表示法（如INT8、INT16）则使用固定的小数点位置，所有数值共享相同的缩放因子。以INT8为例，若采用Q7.0格式（纯整数），可表示-128到127的整数；若采用Q4.3格式（4位整数、3位小数），则可表示-8到7.875，精度为0.125。定点格式的优势在于硬件实现简单、计算速度快、功耗低，但动态范围受限，需要预先确定合适的缩放因子。
在量化推理中，混合精度策略越来越常见。例如，第一层和最后一层对精度敏感，可保留FP16；中间层使用INT8。这种策略在保持精度的同时最大化性能收益。下表对比了常见数值格式的关键特性：
| 格式 | 位宽 | 动态范围 | 相对精度 | 典型应用场景 |
|---|---|---|---|---|
| FP32 | 32 | 1e-38 ~ 3.4e38 | 高（约7位十进制） | 训练主精度、梯度计算 |
| FP16 | 16 | 6e-5 ~ 65504 | 中（约3位十进制） | 混合精度训练、边缘推理 |
| INT8 | 8 | -128 ~ 127（或0~255） | 低（约2位十进制） | 推理加速、模型压缩 |
| INT4 | 4 | -8 ~ 7（或0~15） | 极低（约1位十进制） | 极限压缩、特定硬件 |
选择定点格式时，需要仔细分析权重和激活值的实际分布。例如，若某层权重分布在[-0.5, 0.5]区间，使用INT8量化时，S = (0.5 - (-0.5)) / 255 ≈ 0.0039，量化步长较小，精度损失可控。但如果权重分布存在明显的长尾，直接量化会导致大量值被截断，此时需要先进行裁剪或使用非对称量化。
对称与非对称量化：两种范式的对比与选择
对称量化要求零点偏移Z=0，即浮点0映射到整数0。这种范式下，量化公式简化为r = S × q，S = max(|r_min|, |r_max|) / 127（对于INT8）。对称量化的优势在于实现简单，无需存储零点偏移，且卷积运算中的乘加操作可以避免额外的偏移修正。然而，当数据分布不对称时（例如ReLU后的激活值全为正），对称量化会浪费一半的量化范围。
非对称量化允许Z≠0，能够更灵活地匹配数据分布。对于全正激活值，非对称量化可以将[0, 6]映射到[0, 255]，充分利用所有量化级别。其代价是需要额外存储Z，并在计算时进行偏移修正。在硬件实现中，非对称量化通常需要额外的加法操作，但现代推理引擎（如TensorRT、ONNX Runtime）已对此进行了优化。
选择哪种范式取决于具体场景：权重通常使用对称量化，因为训练后的权重分布通常接近零中心对称；激活值推荐使用非对称量化，因为ReLU等激活函数会产生非负分布。下表总结了两种范式的关键差异：
| 对比维度 | 对称量化 | 非对称量化 |
|---|---|---|
| 零点偏移Z | 恒为0 | 可非零 |
| 量化范围利用率 | 较低（数据不对称时） | 高（自适应数据分布） |
| 硬件实现复杂度 | 低（无需偏移修正） | 中（需额外加法） |
| 适用场景 | 权重、对称分布数据 | 激活值、非对称分布数据 |
| 精度表现 | 数据对称时精度高 | 数据不对称时精度更高 |
量化误差来源：识别与缓解策略
量化误差主要来源于三个方面：舍入误差、截断误差和动态范围压缩误差。舍入误差发生在浮点值映射到最近整数点的过程中，其最大误差为S/2。截断误差发生在数据超出量化范围时，超出部分被强制裁剪到边界值。动态范围压缩误差则是由于量化步长S过大，导致相邻浮点值映射到同一整数，造成信息丢失。
在神经网络中，这些误差会逐层累积和放大。特别是BatchNorm层，其内部维护的均值和方差统计量对量化误差非常敏感。BatchNorm在训练时使用批内统计量，推理时使用全局统计量，这种差异在量化后会被放大。因此，在QAT中冻结BatchNorm（即固定其统计量）是减少量化误差传播的关键步骤。
缓解量化误差的常用策略包括：量化感知训练（在训练中模拟量化误差）、梯度直通估计（STE，允许梯度通过量化器反向传播）、逐层校准（使用验证集确定最优S和Z）以及混合精度量化（对敏感层使用更高精度）。
案例拆解：MobileNetV2的INT8量化实践
以MobileNetV2图像分类模型为例，该模型在ImageNet上Top-1精度为71.8%。直接使用后训练量化（PTQ）后，精度降至68.2%，损失3.6个百分点。分析发现，主要误差来源是深度可分离卷积中的激活值分布高度不对称，且存在明显的长尾。
针对此问题，我们采用以下优化流程：
- 分布分析：统计每个激活层的输出分布，发现第14层（最后一个倒残差块）的激活值范围在[0, 12.8]，但90%的值集中在[0, 2]区间。
- 非对称量化：对该层使用非对称量化，S = 12.8/255 ≈ 0.0502，Z = 0。量化后精度提升至69.5%。
- 逐通道权重量化：将权重从逐张量改为逐通道量化，精度进一步提升至70.3%。
- QAT微调：在ImageNet子集上微调5个epoch，使用STE和余弦退火学习率，最终精度达到71.2%，仅损失0.6个百分点。
整个优化过程中，我们记录了每步的精度变化和推理延迟。最终模型在骁龙865平台上推理速度从12.3ms提升至4.8ms，加速2.56倍，模型体积从14MB压缩至3.8MB。该案例表明，量化误差的缓解需要系统性分析，而非单一技术手段。
总结与复盘
量化基础是QAT训练的基石。理解浮点与定点的本质差异、掌握对称与非对称量化的适用场景、识别量化误差的主要来源，是设计有效QAT策略的前提。在实际工程中，建议遵循以下原则：
- 量化前先进行数据分布分析，避免盲目选择量化参数。
- 权重优先使用对称逐通道量化，激活值优先使用非对称逐张量量化。
- 在QAT中模拟量化误差时，务必使用STE保证梯度流动。
- BatchNorm冻结时机对量化精度影响显著，建议在训练后期冻结。
- 每次量化调整后，使用验证集评估精度变化，建立量化-评估-调优的闭环。
量化不是简单的精度牺牲，而是精度、速度、功耗之间的系统工程权衡。掌握这些基础原理后，下一阶段将深入探讨QAT中学习率调度如何与量化误差协同优化，以及BatchNorm冻结的具体操作策略。