4、PTQ与QAT对比：训练后量化（PTQ）的局限、量化感知训练（QAT）的优势、两者适用场景与精度差异

在TFLite模型量化落地过程中，工程师面临的首要决策往往是：选择训练后量化（Post-Training Quantization, PTQ）还是量化感知训练（Quantization-Aware Training, QAT）。这两种技术路线虽然目标一致——将FP32模型压缩为INT8以换取更小的体积和更快的推理速度，但它们在精度保持、部署流程、数据需求以及适用场景上存在显著差异。理解这些差异，是制定高效、可靠模型部署策略的前提。本章将系统对比PTQ与QAT，剖析PTQ的精度瓶颈，阐明QAT的核心优势，并给出清晰的选型建议与实战经验。

上图直观展示了PTQ与QAT在流程上的核心差异：PTQ在模型训练完成后，使用少量校准数据统计激活值范围，直接对权重和激活进行量化，整个过程不涉及反向传播；而QAT则在训练过程中插入伪量化节点，模拟量化误差，让模型在反向传播中自适应地调整权重，从而在量化后保持更高的精度。接下来，我们将从多个维度深入剖析这两种方法的本质区别。

4.1 训练后量化（PTQ）的局限：精度损失的根源

PTQ的核心思路是“先训练，后量化”。它假设预训练模型的权重分布和激活值分布是相对稳定的，因此可以通过统计少量校准数据的激活范围来确定量化参数（scale和zero-point）。然而，这种“事后补救”的方式存在几个先天性的局限。

核心原理：静态统计与分布失配

PTQ的量化参数是基于校准数据集计算得出的。校准数据集通常只有几百到几千张图片，无法完全代表真实世界的数据分布。当模型在推理时遇到超出校准范围的数据（即“分布外”数据），量化误差会急剧放大。此外，PTQ对权重和激活采用对称或非对称量化时，如果权重分布呈现长尾或双峰等非均匀特征，简单的线性映射就会引入较大的截断误差。

判断方法：哪些模型容易在PTQ下精度崩溃？

• 模型规模较小：MobileNet、EfficientNet-Lite等轻量级模型，其参数量少，冗余度低，对量化噪声极为敏感。实验表明，MobileNetV2在PTQ下Top-1精度可能下降3%~5%。
• 存在异常值：某些层的权重或激活值存在极端大或极端小的数值（outliers），这些异常值会拉大量化范围，导致正常数值的量化精度严重不足。
• 任务对边界敏感：目标检测、语义分割等任务，其输出对像素级或边界框的微小变化非常敏感，PTQ引入的噪声可能直接导致检测框偏移或分割边缘断裂。

案例拆解：PTQ在MobileNetV2上的精度回退

假设我们有一个在ImageNet上训练的MobileNetV2模型，FP32 Top-1精度为72.0%。使用TFLite默认的PTQ（动态范围量化）进行转换，校准数据集为500张验证集图片。转换后，模型在完整验证集上的Top-1精度降至68.5%，下降了3.5个百分点。进一步分析发现，模型第一个卷积层和最后的全连接层对量化最为敏感。第一个卷积层的权重范围在[-0.8, 0.8]之间，但存在少量值为1.5的异常权重，导致量化步长变大，低幅值权重被严重截断。而最后的全连接层，其激活值分布高度集中在0附近，但偶尔出现较大的峰值，使得量化零点偏移，影响了分类置信度的计算。

4.2 量化感知训练（QAT）的优势：让模型学会“容忍”量化

QAT的核心思想是“在训练中模拟量化误差”。通过在计算图中插入伪量化节点（FakeQuant），前向传播时对权重和激活进行量化-反量化操作，使得梯度可以正常反向传播。这样，模型在训练过程中就“感知”到了量化带来的噪声，并主动调整权重分布，使得最终量化后的模型精度损失最小化。

核心原理：伪量化与直通估计器（STE）

QAT的关键技术在于伪量化节点的实现。在TFLite中，伪量化节点执行以下操作：q = clamp(round(x / scale) + zero_point)，然后再反量化为x_approx = (q - zero_point) * scale。由于round函数不可导，QAT使用直通估计器（Straight-Through Estimator, STE）将梯度直接传递给输入，即∂L/∂x ≈ ∂L/∂x_approx。这使得模型在反向传播时，能够根据量化误差调整权重，从而在量化后保持精度。

操作流程：QAT的标准训练步骤

1. 加载预训练模型：从PTQ或FP32训练中获取一个精度达标的模型作为起点。
2. 插入伪量化节点：在TFLite中，通过tf.quantization.quantize或tfmot.quantization.keras.quantize_model API自动在卷积层、全连接层等算子前后插入伪量化节点。
3. 微调训练：使用较小的学习率（通常为初始学习率的1/10~1/100）进行微调。训练轮次一般为原始训练轮次的10%~20%。
4. 冻结与转换：训练完成后，将伪量化节点转换为TFLite的量化参数，生成INT8模型。

案例拆解：QAT在MobileNetV2上的精度恢复

继续上述案例，我们使用相同的MobileNetV2预训练模型，采用QAT进行微调。训练配置如下：优化器为SGD，初始学习率0.0001，训练5个epoch，批量大小64。训练过程中，伪量化节点模拟了INT8量化。微调结束后，将模型转换为TFLite INT8格式。在相同验证集上测试，Top-1精度为71.6%，仅比FP32下降0.4个百分点。相比PTQ的3.5%下降，QAT显著提升了精度。进一步分析发现，QAT使得第一个卷积层的权重分布更加集中，异常值被抑制，量化步长更合理。

4.3 适用场景与精度差异：如何做出正确选择？

PTQ和QAT各有其适用的场景。选择的关键在于精度要求、数据可用性、训练资源和部署周期。下表从多个维度对两者进行了详细对比。

判断方法：三步选型法

• 第一步：评估精度底线。明确业务允许的最大精度损失。例如，图像分类任务允许1%的下降，而医疗影像诊断可能要求0.1%以内。
• 第二步：尝试PTQ。使用代表性校准集进行PTQ，在完整测试集上评估精度。如果精度达标，直接采用PTQ，节省时间。
• 第三步：定位敏感层并QAT。如果PTQ不达标，使用工具（如TFLite Model Analyzer）定位敏感层。若敏感层较少，可仅对这些层进行QAT；若敏感层遍布络，则进行全模型QAT。

常见误区与总结复盘