3、PTQ原理：训练后量化的流程、校准数据集的作用、动态范围与静态范围
训练后量化（Post-Training Quantization, PTQ）是 TinyML 工程化落地中最常用的模型压缩手段。与需要重新训练模型的量化感知训练（QAT）不同，PTQ 直接对已经训练好的浮点模型进行数值映射，将 FP32 权重和激活值转换为 INT8 或 INT16 等低比特表示。理解 PTQ 的核心原理，是后续进行功能验证、精度调优和硬件部署的前提。本章将深入拆解 PTQ 的标准流程、校准数据集的关键作用，以及动态范围与静态范围这两个决定量化质量的核心概念。
上图展示了 PTQ 的核心数据流：预训练 FP32 模型在少量校准数据上执行前向推理，统计各层激活值的分布范围，进而计算出量化参数（scale 和 zero_point），最终将模型转换为 INT8 表示。整个过程无需反向传播，计算开销远小于 QAT，因此特别适合资源受限的 TinyML 场景。
3.1 PTQ 的标准流程：从浮点到定点的四步走
PTQ 的工程实现虽然因框架而异（TensorFlow Lite、PyTorch、ONNX Runtime 等），但底层逻辑高度一致。一个完整的 PTQ 流程通常包含以下四个阶段：
- 模型准备与算子分析：加载训练好的 FP32 模型，遍历计算图，识别可量化算子（如 Conv2D、DepthwiseConv2D、FullyConnected、Add、MaxPool 等）和不可量化算子（如 Softmax、LayerNorm 中的某些数学运算）。此阶段需要确认模型输入输出的数据格式（NHWC 或 NCHW），并检查是否有不适合量化的特殊层。
- 校准数据采集：从训练集或验证集中选取具有代表性的子集，通常为 100~1000 张样本。这些样本被送入 FP32 模型进行前向推理，记录每一层激活值的张量分布（最小值、最大值、直方图等）。校准数据集不需要带标签，因为 PTQ 不涉及损失计算。
- 量化参数计算：基于校准过程中收集的统计信息，为每个张量（权重和激活）计算最优的 scale 和 zero_point。常见的校准方法包括 MinMax（直接取最小/最大值）、Percentile（截断极端值）、KL 散度（最小化信息损失）和 MSE（最小化均方误差）。
- 模型转换与验证：将 FP32 权重映射为 INT8 整数，生成量化后的模型文件。随后在目标硬件（MCU、DSP、NPU）或模拟器上运行量化模型，对比量化前后模型的输出差异，评估精度损失是否在可接受范围内。
| 阶段 | 输入 | 输出 | 关键工具/方法 | 耗时占比 |
|---|---|---|---|---|
| 模型准备 | FP32 模型文件 | 算子清单、量化方案 | Netron、框架内置分析器 | 10% |
| 校准采集 | 校准数据集 | 激活值分布统计 | DataLoader、Forward Hook | 30% |
| 参数计算 | 分布统计信息 | scale / zero_point | MinMax、KL、MSE | 20% |
| 转换验证 | 量化参数 + FP32 模型 | INT8 模型 + 精度报告 | TFLite Converter、ONNX Runtime | 40% |
3.2 校准数据集：PTQ 的“标尺”与“探针”
校准数据集在 PTQ 中扮演着双重角色：它既是测量激活值范围的“标尺”，也是检验量化方案是否合理的“探针”。校准数据集的质量直接决定了量化参数的好坏，进而影响量化模型的最终精度。
核心作用一：确定激活值的动态范围。权重是静态已知的，其范围在模型保存时即可确定。但激活值（中间特征图）只有在推理时才会产生，且随输入数据变化。校准数据集通过前向推理，让每一层“暴露”其激活值的实际分布，从而为量化器提供统计依据。如果校准数据与真实部署数据分布差异过大，量化参数就会失真。
核心作用二：评估量化误差的放大效应。量化误差在深层网络中会逐层累积。校准数据集可以用于在转换过程中进行“模拟量化”（即伪量化），观察每一层量化前后输出的偏差。如果某一层的误差突然增大，说明该层的激活值分布可能过于集中或存在极端离群值，需要调整校准策略。
选择校准数据集时，应遵循以下原则：
- 代表性：覆盖所有类别或工况，避免单一类别占比过高。
- 多样性：包含不同光照、角度、噪声水平下的样本，增强鲁棒性。
- 纯净性：避免使用数据增强后的样本（如随机裁剪、旋转），因为增强会引入人为的分布扰动。
- 数量适中：通常为训练集大小的 1%~5%，但不少于 100 张。
3.3 动态范围与静态范围：量化精度的“双刃剑”
动态范围（Dynamic Range）和静态范围（Static Range）是 PTQ 中两个极易混淆但至关重要的概念。它们决定了量化器如何选择数值映射的上下界。
动态范围指的是在推理过程中，某一层激活值或权重的实际数值变化区间，即 [min, max]。这个范围是“活的”，随输入数据的变化而波动。例如，一个 ReLU 层的输出动态范围可能是 [0.0, 6.5]，而另一个输入样本可能产生 [0.0, 8.2] 的范围。动态范围反映了数据的真实分布特性。
静态范围则是在校准完成后，量化器最终确定的固定映射区间。一旦量化模型生成，这个范围就冻结了，推理时不再改变。静态范围通常等于或略小于校准过程中观察到的动态范围。例如，校准发现激活值最大为 8.2，但为了减少离群值的影响，量化器可能将静态范围截断为 [0.0, 7.5]。
| 对比维度 | 动态范围 | 静态范围 |
|---|---|---|
| 定义 | 推理时张量值的实时变化区间 | 量化后固定的数值映射区间 |
| 更新时机 | 每个推理批次都可能变化 | 校准完成后冻结 |
| 获取方式 | 前向推理实时统计 | 基于校准数据集的统计结果计算 |
| 对精度的影响 | 动态范围过宽会导致量化分辨率下降 | 静态范围过窄会截断真实数据，产生饱和误差 |
| 典型处理 | 使用 Percentile 截断极端值 | 使用 MinMax 或 KL 散度确定最终边界 |
在实际操作中，动态范围与静态范围的矛盾主要体现在“离群值”处理上。假设某层激活值 99.9% 的数据集中在 [0.0, 3.0] 区间，但偶尔出现一个 12.0 的离群值。如果静态范围直接采用 MinMax 方法设为 [0.0, 12.0]，那么 INT8 的 256 个量化级别将大部分浪费在稀疏的离群值上，导致 [0.0, 3.0] 区间的量化步长过大，精度损失严重。此时，更合理的做法是使用 Percentile 方法，将静态范围设为 [0.0, 3.5]，允许少量离群值饱和到 127，从而保证主体数据的量化精度。
3.4 常见误区与总结复盘
在 PTQ 的工程实践中，以下误区经常导致量化后精度异常，需要特别警惕：
- 误区一：校准数据集越大越好。实际上，过大的校准集不仅耗时，还可能引入与部署场景无关的分布噪声。关键在于代表性而非数量。
- 误区二：所有层都使用相同的量化范围。不同层的激活值分布差异巨大，使用全局统一范围会严重损害精度。应优先采用逐层（Per-Layer）或逐通道（Per-Channel）量化。
- 误区三：忽略偏置的量化。在 PTQ 中，偏置通常保留为 FP32 或 INT32，因为偏置的数值范围较小，量化误差容易被放大。若将偏置也量化为 INT8，可能导致输出偏移。
- 误区四：只关注权重范围，不关注激活范围。权重的分布相对稳定，而激活值受输入影响波动大。激活值的量化误差是精度损失的主要来源。
- 误区五：校准数据与部署数据分布不一致。这是最隐蔽的坑。例如，用白天采集的数据校准，部署到夜间场景，激活值分布偏移导致量化参数失效。