3、PTQ流程：校准数据集准备、校准方法（MinMax/Percentile/MSE/Entropy）、量化配置与常见框架（TFLite/ONNX/OpenVINO）

后训练量化（Post-Training Quantization, PTQ）是 TinyML 模型部署中最常用的压缩手段，其核心目标是在不重新训练模型的前提下，将 FP32 权重与激活映射到低比特整数（如 INT8）。PTQ 的精度损失主要来源于校准阶段对激活值动态范围的估计偏差，以及量化参数（scale 与 zero-point）与真实数据分布之间的失配。本章将系统拆解 PTQ 的标准流程，重点聚焦校准数据集的构建原则、四种主流校准方法的数学原理与适用场景、量化配置的关键参数，以及 TFLite、ONNX Runtime、OpenVINO 三个框架的工程化差异。

上图展示了 PTQ 校准的完整决策链路：从校准数据集出发，经过校准方法选择、量化配置设定，最终落到具体框架的部署实现。其中，校准数据集的质量直接决定了后续所有环节的上限，而校准方法的选择则需要在精度与计算开销之间做出权衡。下面我们将逐一深入每个环节。

3.1 校准数据集准备：PTQ 的“黄金样本”从何而来

核心原理

校准数据集（Calibration Dataset）是 PTQ 过程中用于统计激活值动态范围的样本集合。与训练集不同，校准集不需要标签，也不需要参与梯度更新，其唯一使命是让量化器“看到”足够有代表性的激活分布。在 TinyML 场景下，由于模型通常部署在资源受限的 MCU 上，校准集的规模往往被限制在 100~500 张图像或 1000~2000 个音频帧以内。校准集的选择必须遵循三个原则：代表性（覆盖部署时的真实输入分布）、多样性（包含不同光照、噪声、姿态等变化）、纯净性（避免标注错误或损坏数据）。

操作流程

1. 采集原始数据：从目标部署环境中采集原始输入，例如使用设备端摄像头拍摄实际场景照片，或从传感器读取真实信号。
2. 数据清洗：剔除模糊、过曝、遮挡严重的样本，确保数据质量。
3. 数据增强（可选）：对于样本量不足的情况，可进行轻度几何变换（翻转、裁剪）或噪声注入，但需谨慎——过度增强可能引入分布偏移。
4. 样本筛选：使用贪心算法或聚类方法从候选池中挑选最具代表性的子集。例如，对 1000 张候选图进行 K-Means 聚类，每类抽取若干张，最终组成 200 张校准集。
5. 格式统一：确保所有校准样本经过与部署时完全相同的预处理（resize、归一化、通道顺序等）。

案例拆解：关键词唤醒模型的校准集构建

假设我们要为一个 10 类关键词唤醒（KWS）模型做 PTQ，模型输入为 40 维 MFCC 特征，帧长 30ms。初始校准集从公开语音数据集（如 Speech Commands）中随机抽取 300 条音频。但部署后发现，实际设备端麦克风采集的语音带有明显的 50Hz 工频噪声和房间混响，导致量化后精度从 92% 降至 85%。

分析过程：对比校准集与真实部署数据的频谱图，发现校准集过于“干净”，缺乏噪声和混响成分。于是重新构建校准集：从设备端采集 200 条真实环境语音，再混合 100 条公开数据集语音，共 300 条。同时，对真实语音进行音量归一化，确保与训练时的预处理一致。

结果：重新校准后，量化模型精度回升至 90.5%，仅比 FP32 模型低 1.5 个百分点。这一案例说明，校准集的质量远比数量重要——300 条“脏”数据胜过 1000 条“干净”数据。

常见误区与复盘

• 误区一：直接使用训练集子集作为校准集。训练集通常经过严格清洗，与真实部署分布存在偏差。
• 误区二：忽略预处理一致性。例如训练时使用 ImageNet 均值 [0.485, 0.456, 0.406] 归一化，但校准数据却使用 [0.5, 0.5, 0.5]，导致激活分布偏移。
• 复盘要点：校准集构建完成后，应可视化激活值的直方图，确认其分布形态与训练时观察到的激活分布相似。若发现明显差异，需回溯数据采集环节。

3.2 校准方法：MinMax / Percentile / MSE / Entropy 的数学本质与选型

核心原理

校准方法的本质是确定激活值张量的动态范围 [min, max]，进而计算量化参数 scale 和 zero-point。四种方法的核心差异在于对离群点的容忍度和对分布形状的建模能力：

判断方法与操作流程

MinMax 是最直接的方法，直接取张量中的最小值和最大值。其优点是计算简单、无需调参，但缺点是对离群点极度敏感——一个异常大的激活值会拉宽整个动态范围，导致正常值的量化精度下降。在 TinyML 中，MinMax 通常仅用于权重量化，因为权重分布相对稳定。

Percentile 通过设定百分位阈值（如 99.9%）来截断极端值。操作时需先统计激活值的直方图，然后从两端逐步截断，直到保留的百分位达到预设值。该方法需要人工调整百分位参数，但比 MinMax 更鲁棒。

MSE（均方误差） 方法通过网格搜索最优的截断阈值，使得量化前后的均方误差最小。具体实现时，将激活值范围划分为多个候选区间，对每个区间计算量化误差，选择误差最小的区间作为动态范围。MSE 方法在计算上比 MinMax 昂贵，但精度通常更好。

Entropy（KL 散度） 是 TensorRT 和 TFLite 中默认使用的方法。其核心思想是：找到最优的截断阈值，使得量化后的分布 Q 与原始分布 P 的 KL 散度最小。KL 散度定义为：

KL(P||Q) = Σ P(x) * log(P(x) / Q(x))

操作时，首先将激活值映射到 2048 个 bin 的直方图中，然后从 128 个 bin 开始逐步扩展，计算每个截断点下的 KL 散度，选择散度最小的截断点。Entropy 方法对离群点最鲁棒，但计算开销最大。

案例拆解：MSE 与 Percentile 在图像分类模型上的对比

以 MobileNetV2 在 ImageNet 子集上的 PTQ 为例，校准集 200 张。分别使用 Percentile(99.9%) 和 MSE 方法进行校准，结果如下：

进一步分析发现，MSE 方法在最后一个卷积层的激活值上找到了更优的截断点，因为该层激活值呈现明显的双峰分布，Percentile 的固定截断无法适应这种形状。这一案例说明，对于分布复杂的层，MSE 或 Entropy 的适应性更强。

常见误区与总结

• 误区一：所有层使用相同的校准方法。实际上，不同层的激活分布差异巨大，建议对敏感层（如输出层前的卷积层）单独使用 MSE 校准。
• 误区二：忽略 zero-point 的影响。非对称量化中，zero-point 的偏移会导致 ReLU 等激活函数输出范围偏移，需在量化配置中显式处理。
• 总结：校准方法的选择本质是“偏差-方差”权衡。MinMax 偏差大但方差小，Entropy 偏差小但方差大（需要足够数据支撑）。在 TinyML 场景下，建议以 MSE 为默认，以 Percentile 为快速备选。

3.3 量化配置：per-tensor 与 per-channel、对称与非对称的工程抉择

核心原理

量化配置决定了 scale 和 zero-point 的粒度与形式。在 TinyML 中，主要涉及两个维度：粒度（per-tensor vs per-channel）和 对称性（对称 vs 非对称）。

• Per-tensor：整个张量共享一组 scale 和 zero-point。优点是计算简单、硬件友好，但精度较低，尤其当不同通道的数值范围差异较大时。
• Per-channel：每个输出通道独立计算 scale 和 zero-point。精度更高，但需要硬件支持 per-channel 量化（如 ARM Cortex-M55 的 MVE 指令集）。
• 对称量化：zero-point 固定为 0，仅需存储 scale。适用于权重，因为权重分布通常关于 0 对称。
• 非对称量化：zero-point 可非零，能更好地适应 ReLU 等非负激活分布。

操作流程与配置建议

# TFLite 量化配置示例
converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset_gen
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.int8
converter.inference_output_type = tf.int8
# 关键配置：默认使用 per-channel 权重量化，激活使用 per-tensor

在 ONNX Runtime 中，可通过 QDQ 格式配置 per-channel 量化；OpenVINO 则通过 --quantization-mode 参数控制。工程上建议：权重一律使用 per-channel + 对称量化，激活使用 per-tensor + 非对称量化。这一组合在精度与硬件兼容性之间取得了最佳平衡。

案例拆解：per-channel 对深度可分离卷积的影响

在 STM32F746 上部署一个深度可分离卷积模型，权重采用 per-tensor 量化时精度为 88.2%，改用 per-channel 后提升至 90.1%。原因在于深度可分离卷积的 depthwise 层中，每个通道的权重范围差异可达 10 倍以上，per-tensor 量化会强制所有通道共享一个 scale，导致小范围通道的量化噪声放大。改用 per-channel 后，每个通道独立缩放，量化噪声显著降低。

常见误区与复盘

• 误区一：为了追求精度，所有层都使用 per-channel。这会导致模型体积增大（需存储更多 scale），且推理速度下降。
• 误区二：忽略 zero-point 的位宽。在 INT8 量化中，zero-point 通常使用 INT8 存储，但某些框架允许 INT16 的 zero-point，需根据硬件能力选择。
• 复盘要点：量化配置完成后，应逐层检查 scale 的数值范围。若发现某层 scale 异常大（如 > 0.1），说明该层动态范围过宽，需考虑拆分层或使用更高比特量化。

3.4 常见框架实践：TFLite / ONNX Runtime / OpenVINO 的量化流程对比

核心原理与框架差异

三个主流框架的 PTQ 流程在核心思想上一致，但在 API 设计、校准数据格式和量化算子支持上存在差异：

操作流程对比

TFLite 的流程最为简洁：定义 representative_dataset 生成器，然后调用 converter 即可。其内部自动完成校准、量化参数计算和模型转换。但 TFLite 对自定义算子的支持较弱，若模型包含 TFLite 不支持的算子，需先转换为 TFLite 兼容格式。

ONNX Runtime 的量化需要先使用 onnxruntime.quantization.quantize_static 接口，并显式提供校准数据。其优势在于支持 QDQ 格式，便于在量化模型上进一步做算子融合。但 ONNX 的量化算子覆盖不如 TFLite 全面，部分高级算子（如 LayerNorm）需要降级为 FP32 计算。

OpenVINO 的 PTQ 通过 ov.quantize_model 或命令行工具 pot 实现。其特色是支持混合精度量化，即对敏感层自动回退到 FP16 或 FP32。在 Intel 平台上，OpenVINO 的量化模型推理速度通常优于 ONNX Runtime。

案例拆解：同一模型在三个框架上的量化效果对比

以 YOLOv5s 目标检测模型为例，输入 320×320×3，在 Intel i7-1165G7 上测试：

结果显示，OpenVINO 在延迟和精度上均占优，这得益于其混合精度策略和 Intel 平台的深度优化。但若部署目标是 MCU，则 TFLite 是唯一选择，因为 ONNX Runtime 和 OpenVINO 均不支持 MCU 后端。

常见误区与总结

• 误区一：认为所有框架的量化结果一致。实际上，由于校准算法和算子融合策略不同，同一模型在不同框架上的量化精度差异可达 1~2%。
• 误区二：忽略框架的算子覆盖范围。在转换前应使用 onnxruntime.transformers.optimizer 或 TFLite 的 converter 日志检查是否有算子被回退到 FP32。
• 总结：框架选型应基于部署目标：MCU 选 TFLite，Intel 边缘设备选 OpenVINO，跨平台云端服务选 ONNX Runtime。同时，建议在量化前先使用框架提供的模型优化工具（如 TFLite 的 pruning、OpenVINO 的 mo）进行结构优化，以提升量化效果。