📚 课程目录第4章量化方法分类

4. 量化方法分类：训练后量化（PTQ）、量化感知训练（QAT）、动态量化与静态量化的适用场景与优缺点

在NPU部署链路中，量化方法的选择直接决定了模型精度损失、内存带宽占用、算子融合策略以及最终推理延迟。不同量化方法在数据流、校准方式、权重/激活的量化时机上存在本质差异。本章从工程落地视角，系统拆解训练后量化（PTQ）、量化感知训练（QAT）、动态量化与静态量化四类方法的原理、适用边界、操作流程与典型误区，帮助开发者根据业务场景做出合理选型。

4.1 核心原理：量化时机与数据流的本质差异

量化方法的本质区别在于“何时计算量化参数（scale/zero-point）”以及“量化参数是否在推理过程中动态更新”。PTQ在模型训练完成后，通过少量校准数据统计激活值分布，离线计算量化参数；QAT则在训练过程中将伪量化算子插入计算图，让模型权重和激活逐步适应量化噪声；动态量化在推理时实时统计每个batch的激活范围并即时计算scale；静态量化则使用预校准的固定scale，推理时不再更新。

从数据流角度看，PTQ和静态量化属于“离线校准+固定参数”模式，适合NPU这种对确定性要求极高的硬件；QAT属于“训练感知+联合优化”模式，适合精度敏感型任务；动态量化属于“在线统计+即时量化”模式，适合CPU/GPU上对灵活性要求高的场景，但NPU上通常因硬件限制难以高效实现。

  关键理解：量化参数的计算位置决定了误差补偿能力。PTQ的误差在校准后固定，无法适应推理时输入分布漂移；QAT让模型在训练中“学会”抵抗量化误差，因此鲁棒性更强；动态量化每次推理都重新统计，能适应输入分布变化，但增加了运行时开销。

4.2 判断方法：四类量化方法的适用场景与选型标准

选择量化方法需要综合评估精度要求、硬件支持、开发成本、推理延迟四个维度。以下给出工程化的判断流程：

第一步：确认部署硬件能力——NPU通常只支持静态量化（权重和激活均预校准），部分NPU支持动态权重量化但不支持动态激活量化；CPU/GPU则可通过算子库（如PyTorch的torch.quantization）灵活支持动态量化。
第二步：评估精度损失容忍度——若任务允许0.5%~1%的精度下降（如分类任务Top-1下降<1%），优先选择PTQ；若精度要求极高（如分割任务mIoU下降<0.3%），必须使用QAT。
第三步：检查激活值分布特性——若激活值分布在不同batch间波动较大（如检测任务中目标数量变化），静态量化可能失效，需考虑动态量化或使用更精细的校准策略（如百分位校准）。
第四步：评估开发与调试成本——PTQ只需几小时即可完成；QAT需要修改训练代码、增加训练时间（通常增加1.5~2倍）；动态量化几乎零成本但推理性能提升有限。

维度	PTQ	QAT	动态量化	静态量化
量化参数计算时机	训练后离线校准	训练中逐步学习	推理时实时计算	训练后离线校准
激活量化方式	静态（固定scale）	静态（训练中模拟）	动态（每batch更新）	静态（固定scale）
精度损失	中等（0.5%~2%）	低（0.1%~0.5%）	低~中（0.3%~1%）	中等（0.5%~2%）
推理性能提升	高（权重+激活均定点）	高（同PTQ）	中（仅权重定点）	高（权重+激活均定点）
开发成本	低（几小时）	高（需训练环境）	极低（几行代码）	低（同PTQ）
硬件适配性	NPU/CPU/GPU均支持	NPU/CPU/GPU均支持	CPU/GPU友好，NPU受限	NPU/CPU/GPU均支持
典型应用	边缘部署、快速上线	高精度模型、医疗/自动驾驶	LLM推理、变长输入场景	NPU量产、嵌入式设备

4.3 案例拆解：PTQ与QAT在NPU部署中的实战对比

以某安防场景下的目标检测模型（YOLOv8s）为例，模型权重约28MB，输入分辨率640×640，部署在算力8TOPS的NPU上。初始浮点模型mAP@0.5为0.742，推理延迟为45ms。

阶段一：PTQ快速验证——使用500张校准图片，采用MinMax校准方法，对称量化（int8），权重和激活均静态量化。量化后mAP@0.5降至0.718，精度损失2.4%，推理延迟降至18ms。虽然性能提升明显，但精度损失超出业务容忍线（<1.5%）。

阶段二：改进校准策略——改用百分位校准（99.99%），并增加每通道量化（per-channel）用于权重。mAP@0.5回升至0.731，损失1.1%，勉强达标。但发现某些小目标检测框置信度明显下降，说明激活值分布尾部信息丢失。

阶段三：QAT微调——在训练阶段插入伪量化节点，使用预训练权重初始化，以1e-4学习率微调10个epoch。QAT后mAP@0.5为0.738，损失仅0.4%，推理延迟18ms不变。最终选择QAT方案上线。

经验复盘：PTQ的精度损失并非均匀分布，往往集中在“低置信度”或“小目标”区域。若业务对边缘case敏感，即使整体指标达标，也建议用QAT兜底。QAT的额外训练成本（约2天GPU时间）在量产场景下完全值得。

4.4 常见误区与总结复盘

误区一：认为PTQ一定比QAT差。实际上，对于激活值分布均匀、无极端离群值的模型（如MobileNet系列），PTQ配合好的校准策略（如KL散度、百分位）可以达到接近QAT的效果。反之，对于Transformer结构或检测头，PTQ往往失效。

误区二：动态量化是“万能解”。动态量化虽然灵活，但NPU上通常无法高效实现——因为NPU的算子流水线要求固定的scale以完成权重和激活的融合计算。动态量化在CPU上性能提升有限（通常仅1.5~2倍），且无法与算子融合深度结合。

误区三：静态量化就是PTQ。静态量化是一种“量化参数固定”的策略，PTQ是“训练后”的时机。QAT最终部署时也使用静态量化参数，但参数来自训练过程而非校准集。两者不能混为一谈。

误区四：忽略校准集与训练集分布差异。PTQ的校准集必须覆盖推理时的真实数据分布。若校准集过于单一（如全是白天场景），夜间推理时激活值分布漂移，精度会急剧下降。建议校准集至少包含500~1000张覆盖各场景的图片，并做数据增强。

风险提示：在NPU上部署时，务必确认硬件是否支持“动态激活量化”。部分NPU宣称支持int8推理，但实际仅支持权重静态量化，激活仍以fp16计算，这会导致内存带宽未真正减半，性能提升打折。选型前应查阅硬件白皮书或使用profiler验证。

总结：量化方法选型应遵循“硬件约束优先，精度损失兜底，开发成本权衡”的原则。对于NPU量产场景，静态PTQ是首选；若精度不达标，升级为QAT；动态量化仅作为CPU/GPU上的快速验证手段。实际项目中，建议先跑通PTQ基线，再根据精度差距决定是否引入QAT，避免一开始就投入高成本训练。