3、PTQ原理：训练后量化的定义、与QAT对比、PTQ的优势与局限、典型工作流程
训练后量化（Post-Training Quantization，PTQ）是TinyML部署中最常用的模型压缩手段之一。它的核心思想非常直接：在模型完成训练之后，不进行任何额外的训练或微调，仅通过分析权重和激活值的分布，将浮点模型转换为低比特（如INT8、INT16）表示的模型。与需要重新训练或部分训练的量化感知训练（QAT）相比，PTQ以极低的工程成本换取显著的体积缩减和推理加速，是边缘设备上实现AI功能的首选方案。本章将深入剖析PTQ的定义、与QAT的本质区别、其优势与局限，并给出一个可落地的典型工作流程。
上图直观展示了PTQ与QAT在流程上的根本差异。PTQ像是一条“捷径”，直接对训练好的模型进行“手术”；而QAT则是在训练过程中就“植入”量化的“基因”。理解这两条路径的取舍，是选择量化方案的基础。
3.1 核心原理：PTQ的定义与数学本质
PTQ的本质是将连续浮点数值映射到有限离散整数集合的过程。以最常见的INT8量化为例，其数学表达式为：
r = S × (q - Z)其中，r是原始浮点实数，q是量化后的整数，S（Scale）是缩放因子（浮点数），Z（Zero Point）是零点偏移（整数）。PTQ的核心任务就是为每一层（或每个张量）找到最优的S和Z。
确定S和Z的过程称为校准（Calibration）。校准需要一组具有代表性的输入数据（校准集），通过前向推理收集每一层激活值的分布（通常是直方图），然后根据分布特征计算量化参数。常见的校准方法包括：
- MinMax：直接使用观察到的激活值最小值和最大值作为量化范围。简单快速，但对离群点敏感。
- Percentile：截取分布的某个百分位（如99.99%）作为最大值，以牺牲少量动态范围为代价，减少离群点的影响。
- KL散度（熵）校准：通过最小化量化前后分布的KL散度，寻找最优的阈值。这是TensorRT等框架中常用的方法，精度表现更佳。
3.2 判断方法：PTQ与QAT的对比决策
在实际项目中，选择PTQ还是QAT并非拍脑袋决定，而是基于精度损失容忍度和工程成本的权衡。下表给出了详细的对比维度：
| 对比维度 | PTQ（训练后量化） | QAT（量化感知训练） |
|---|---|---|
| 是否需要训练 | 否，仅需少量前向推理 | 是，需要反向传播和梯度更新 |
| 所需数据量 | 少量（几百到几千张图片） | 完整训练集（数万到数百万） |
| 工程耗时 | 分钟级~小时级 | 天级~周级（取决于算力） |
| 精度损失 | 通常0.5%~2%，复杂任务可能更高 | 通常<0.5%，甚至无损 |
| 硬件适配性 | 通用性强，但需手动处理敏感层 | 与训练框架绑定，部署时需对齐 |
| 适用场景 | 快速原型、已有模型、数据敏感 | 精度要求极高、模型可重新训练 |
决策路径建议：当模型参数量小于10MB且任务为分类/检测时，优先尝试PTQ。若PTQ后精度下降超过2%，再考虑对敏感层（如第一层、最后一层）进行混合精度量化，或升级为QAT方案。
3.3 案例拆解：PTQ在MCU上的实战应用
下面通过一个具体的场景来展示PTQ的完整落地过程。假设我们有一个在CIFAR-10上训练的ResNet-20模型（浮点精度92.5%），需要部署到基于Cortex-M7的MCU上，内存仅512KB。
初始现象与目标：浮点模型大小约1.1MB，远超MCU的Flash限制。目标是将模型压缩至300KB以内，并保证精度不低于90%。
关键输入数据：
- 校准集：从CIFAR-10训练集中随机抽取500张图片（覆盖10个类别）。
- 校准工具：使用TensorFlow Lite Converter的默认校准器（基于MinMax）。
分析判断过程：直接使用默认MinMax校准后，发现模型精度降至87.3%，损失达5.2%。通过分析各层激活值分布，发现第一个卷积层和最后的全连接层存在明显的离群点，导致量化范围过大，有效比特位不足。
实际操作步骤：
- 混合精度量化：将第一层卷积和最后一层全连接层保持为FP16，其余层使用INT8。重新量化后，模型大小降至320KB，精度回升至91.8%。
- 校准策略优化：将校准方法从MinMax改为Percentile（99.99%），并重新量化所有层。模型大小降至280KB，精度达到91.2%。
- 最终方案：结合上述两种策略——敏感层用FP16，其余层用Percentile校准的INT8。最终模型大小295KB，精度91.5%。
结果对比与复盘：
| 方案 | 模型大小 | 精度 | 备注 |
|---|---|---|---|
| 浮点基线 | 1.1MB | 92.5% | 无法部署 |
| 默认PTQ (MinMax) | 280KB | 87.3% | 精度损失过大 |
| 混合精度+Percentile | 295KB | 91.5% | 满足部署要求 |
风险与代价：混合精度方案在MCU上需要额外的FP16算子支持，增加了推理引擎的Flash占用（约增加15KB）。但相比精度收益，这一代价是可接受的。
3.4 常见误区与总结复盘
在PTQ实践中，工程师常陷入以下误区，导致量化失败或效果不佳：
- 误区一：校准集越多越好。实际上，校准集需要的是“代表性”而非“数量”。过多的冗余数据会增加校准时间，且可能引入噪声分布。
- 误区二：忽略BN层折叠。在PTQ前，必须将BatchNorm层折叠到卷积层中。否则，量化后的模型在推理时会出现严重的精度抖动。
- 误区三：所有层使用相同的量化位宽。不同层对量化的敏感度差异巨大。第一层和最后一层通常需要更高的位宽或浮点保留。
- 误区四：只关注权重，不关注激活值。激活值的动态范围变化剧烈，是PTQ精度损失的主要来源。必须使用校准集统计激活值分布。
总结复盘：PTQ是TinyML部署的“第一板斧”，其核心在于校准策略的选择与敏感层的识别。一个稳健的PTQ流程应包含以下步骤：
- 模型预处理（BN折叠、算子融合）。
- 使用代表性校准集进行前向推理，收集激活值分布。
- 选择合适的校准算法（MinMax/Percentile/KL）计算量化参数。
- 执行量化，并评估精度损失。
- 若损失过大，进行敏感层分析，实施混合精度量化。
- 在目标硬件上验证实际推理速度和内存占用。
掌握PTQ，意味着你已经掌握了模型压缩的“低成本快攻”策略。在下一阶段，当面对精度极度敏感的模型时，再考虑动用QAT这一“重武器”。但无论如何，PTQ都是你工具箱中最高效、最常用的工具。