4、PTQ原理与流程：训练后量化（PTQ）定义、校准数据集选择、量化流程步骤、与QAT对比
在Cortex-M系列MCU上部署INT8模型时，训练后量化（Post-Training Quantization, PTQ）是最常用的工程路径。它不需要重新训练模型，而是直接对浮点权重和激活值进行量化映射，因此对算力、内存和工程周期都非常友好。然而，PTQ并非简单的“类型转换”，其精度损失主要来源于动态范围截断、离群值放大和激活分布的非均匀性。本章将系统拆解PTQ的定义、校准数据集的选择方法、标准量化流程，并与量化感知训练（QAT）进行对比，帮助你在Cortex-M平台上做出合理的量化决策。
4.1 PTQ定义与核心原理
训练后量化（PTQ）是指将已经训练好的浮点神经网络模型（通常为FP32或FP16）直接转换为定点或整型模型（如INT8）的过程。整个过程不涉及反向传播和权重更新，而是通过统计浮点数据的分布特征，计算出合适的量化参数（scale和zero_point），将浮点数值映射到有限的整数网格上。在Cortex-M平台上，PTQ通常由CMSIS-NN或ETHOS-U微神经处理单元（uNPU）的软件工具链完成，例如STM32Cube.AI、TensorFlow Lite for Microcontrollers或Glow。
PTQ的核心数学基础是线性量化：q = round(r / scale) + zero_point，其中r为浮点值，q为量化后的整数值，scale为缩放因子，zero_point为零点偏移。对于对称量化，zero_point = 0，实现更简单，适合Cortex-M上的硬件加速；非对称量化则能更好地处理ReLU等非负激活分布，但需要额外存储零点。
4.2 校准数据集的选择策略
校准数据集是PTQ流程中决定量化参数质量的关键输入。它的作用不是训练模型，而是通过前向推理收集每一层的激活值分布，从而确定合适的动态范围。校准数据集的选择直接影响量化后模型的精度，因此必须遵循以下原则：
- 代表性：校准数据必须覆盖部署时可能遇到的各种输入模式。例如，用于工业缺陷检测的模型，校准集应包含不同光照、不同缺陷类型、不同背景噪声的样本。
- 规模适中：通常100~500张样本即可获得稳定的统计分布。过少会导致动态范围估计偏差，过多则增加校准时间，且边际收益递减。
- 类别均衡：对于分类任务，每个类别至少包含10~20张样本，避免某些类别在激活分布中占比过高，导致量化参数偏向该类。
- 排除异常值：校准集中不应包含极端离群样本（如全黑图像、传感器饱和数据），否则会拉大量化范围，导致正常数据的量化分辨率下降。
在实际工程中，常用的校准方法包括：MinMax（直接取观察到的最大绝对值）、Percentile（取99.99%分位数，忽略极端离群值）、KL散度（最小化量化前后分布的KL散度，TensorRT常用方法）。对于Cortex-M上的轻量模型，Percentile方法通常比MinMax更稳健，因为MCU场景中传感器噪声容易产生离群值。
| 校准方法 | 原理 | 适用场景 | Cortex-M上的推荐度 |
|---|---|---|---|
| MinMax | 直接使用观察到的全局最小/最大值 | 分布均匀、无离群值 | 低（易受离群值影响） |
| Percentile | 取指定百分位（如99.9%）作为边界 | 存在少量离群值 | 高（稳健性好） |
| KL散度 | 最小化量化前后信息损失 | 分布复杂、非均匀 | 中（计算量稍大） |
| MSE最小化 | 最小化量化前后均方误差 | 回归任务或对误差敏感 | 中（需迭代优化） |
4.3 PTQ标准流程步骤
在Cortex-M平台上执行PTQ，通常遵循以下六个标准步骤。每一步都有明确的输入、输出和验证标准，工程实践中应严格按序执行。
- 模型准备与预处理：将训练好的浮点模型导出为标准化格式（如ONNX、TFLite），并移除训练专用的算子（如Dropout、BatchNorm折叠）。BatchNorm层必须折叠到前一卷积层中，否则量化后推理结果会不一致。
- 校准数据集准备：从验证集或真实采集数据中选取代表性样本，预处理方式（缩放、归一化、通道顺序）必须与训练时完全一致。将数据打包为二进制文件或TFRecord，便于工具链读取。
- 量化参数计算：运行校准数据前向推理，逐层记录激活值分布，使用选定的校准方法计算每层的scale和zero_point。对于权重，直接基于权重张量的统计值计算，无需前向推理。
- 量化模拟（Simulation）：在PC端使用量化感知模拟器（如TensorFlow的量化模拟、PyTorch的fake_quant）验证量化后模型的精度。这一步可以快速发现哪些层对量化敏感，无需在MCU上反复烧录。
- INT8模型生成与优化：将浮点模型转换为INT8权重和INT8激活的量化模型，并针对Cortex-M的指令集（如DSP扩展、MVE）进行算子优化。CMSIS-NN提供了高效的INT8卷积、全连接和池化实现。
- 硬件在环验证：将生成的INT8模型部署到Cortex-M开发板上，使用真实输入数据运行推理，对比浮点模型和INT8模型的输出差异。验证指标包括余弦相似度、Top-1准确率、MSE等。
4.4 案例拆解：Cortex-M55上的关键词唤醒模型PTQ
某智能家居产品需要在Cortex-M55（带MVE指令）上部署一个关键词唤醒（KWS）模型，输入为16kHz单声道音频，特征为40维MFCC，模型结构为两层卷积+两层全连接，参数量约180K，浮点精度为97.2%。目标是将模型量化为INT8，精度损失不超过1%。
初始现象与目标：使用默认的MinMax校准方法，校准集为500条干净语音，量化后精度降至91.5%，损失5.7个百分点，远超1%的目标。
分析判断过程：通过逐层精度分析发现，第一层卷积的激活值存在明显的长尾分布——少数高能量帧（如爆破音、环境噪声）导致动态范围被拉大，而大多数语音帧的激活值集中在较小的区间。MinMax方法将量化步长放大，使得正常语音的量化分辨率不足。
实际操作步骤：
- 将校准方法改为Percentile（99.9%），排除极端离群值，量化后精度提升至95.8%。
- 进一步分析发现第二层全连接层对量化敏感，将权重改为per-channel量化（per-channel对Cortex-M55的MVE指令兼容），精度提升至96.5%。
- 在真实家居环境中采集了100条含背景噪声的语音加入校准集，精度最终稳定在96.8%，损失0.4%，满足目标。
结果对比与复盘：最终INT8模型推理时间从浮点的3.2ms降至1.1ms，内存占用从420KB降至128KB。复盘经验：校准集必须包含部署环境中的噪声模式；per-channel量化是解决权重敏感层的关键手段；Percentile方法在音频任务中优于MinMax。
4.5 PTQ与QAT的对比及选型建议
量化感知训练（QAT）在训练过程中模拟量化误差，让模型自适应调整权重，因此精度通常优于PTQ。但QAT需要完整的训练流程、额外的GPU资源和数小时到数天的训练时间。在Cortex-M部署场景中，两者的选择取决于项目约束。
| 对比维度 | PTQ | QAT |
|---|---|---|
| 是否需要训练 | 否 | 是（需微调或全量训练） |
| 精度表现 | 通常损失0.5%~3% | 通常损失0.1%~1% |
| 工程周期 | 小时级 | 天级 |
| 硬件要求 | 普通PC即可 | 需要GPU |
| 适用场景 | 模型较大、数据获取困难、快速迭代 | 模型较小、精度要求极高、有训练数据 |
| Cortex-M上的典型应用 | 传感器数据处理、简单分类 | 语音唤醒、人脸识别等精度敏感任务 |
在Cortex-M项目中，建议的选型策略是：先尝试PTQ，如果精度损失在可接受范围内，优先选择PTQ以节省工程时间；如果PTQ精度损失超过2%且模型较小（<500KB），则考虑QAT。此外，混合方案也值得考虑：对敏感层使用QAT，对非敏感层使用PTQ，但实现复杂度较高。