📚 课程目录第4章 PTQ流程概览

4、PTQ流程概览：数据准备、校准、量化、部署的完整流程及关键环节

Post-Training Quantization（训练后量化，PTQ）是Edge AI模型部署中最常用的压缩手段。与量化感知训练（QAT）相比，PTQ无需重新训练模型，仅需少量校准数据即可完成从FP32到INT8/INT16的转换，工程成本低、落地周期短。然而，PTQ并非简单的“转换命令”，而是一条包含数据准备、校准、量化、部署四个阶段的完整工程链路。任何一个环节的疏漏，都可能导致最终部署模型的精度损失超出预期，或在特定硬件上出现scale对齐错误。本章将系统拆解PTQ的完整流程，重点剖析每个阶段的关键输入、操作要点与常见陷阱，为后续章节的scale对齐实操打下基础。

上图展示了PTQ的四个阶段及其贯穿性关键环节。从工程实践角度看，数据准备决定了校准的“信息上限”，校准方法决定了量化参数的“质量下限”，量化策略决定了模型结构的“精度基线”，而部署环节则暴露了硬件与框架之间的“scale对齐鸿沟”。以下逐一展开。

4.1 数据准备：校准集的代表性与预处理一致性

核心原理：PTQ的校准过程本质上是利用少量样本统计激活值的分布范围，从而确定量化参数（scale和zero-point）。如果校准数据无法代表模型在真实部署场景中的输入分布，那么统计出的min/max就会失真，导致量化后的模型在真实数据上出现“校准集精度高、测试集精度崩”的现象。此外，校准数据的预处理（如归一化、Resize、通道顺序）必须与训练时完全一致，否则输入分布偏移会直接传导至激活统计。

操作流程：

样本来源：优先从训练集或与训练集同分布的验证集中随机抽取，避免只用“简单样本”或“单一类别”。
样本数量：通常100~1000张（或帧）足够，过多样本增加校准时间，过少样本导致统计噪声大。对于分类任务建议每类至少10张。
预处理对齐：将校准脚本中的预处理代码与训练代码保持一致，包括像素缩放（如除以255）、均值/方差归一化、图像尺寸、通道顺序（RGB/BGR）。
数据增强：校准阶段一般不做随机增强（如随机裁剪、翻转），但可以加入轻微的亮度/对比度扰动以覆盖光照变化。

实战场景：某安防摄像头部署人员检测模型，使用500张白天场景图片作为校准集，量化后模型在夜间红外场景下mAP下降12%。分析发现校准集全部为白天RGB图像，而部署场景中60%为夜间红外灰度图。重新构建包含白天/夜间/逆光/雨雾的混合校准集后，精度损失降至3%以内。

风险提示：切勿使用测试集作为校准集。这会造成“数据泄漏”，使量化参数过拟合到测试集，导致部署后真实性能远低于验证结果。

4.2 校准：从激活统计到量化参数生成

核心原理：校准阶段需要将校准数据输入FP32模型进行前向推理，记录每一层（或每个张量）的激活值分布。然后根据分布特征选择量化参数。常用的校准方法包括：MinMax（直接取min/max）、Percentile（截断极端值）、MSE（最小化量化前后分布的均方误差）、KL散度（熵校准，TensorRT默认方法）。不同方法对分布长尾的敏感度不同，需要根据激活分布形态选择。

判断方法：

校准方法	适用场景	优点	缺点
MinMax	分布均匀、无极端离群值	简单快速，无超参	对离群值敏感，易浪费量化范围
Percentile	存在少量离群值	可截断极端值，鲁棒性较好	需要设定百分位（如99.99%）
MSE	分布近似高斯/拉普拉斯	最小化量化误差，精度较高	计算量较大，需迭代搜索
KL散度	分布复杂、多峰	信息论最优，TensorRT默认	实现复杂，需直方图近似

操作流程：

# 伪代码示例：校准流程
for batch in calib_loader:
    model_fp32(batch)  # 前向推理，hook收集激活值
    update_histogram(layer_activations)
# 校准完成后
for layer in model.layers:
    scale[layer] = compute_scale(histogram[layer], method='percentile', percentile=99.99)
    zero_point[layer] = compute_zero_point(scale[layer], dtype='int8')

经验提醒：当激活分布出现明显双峰或长尾时，建议先可视化激活直方图。若分布跨度超过3个数量级，考虑使用逐通道校准或混合精度（部分层保留FP16）。

4.3 量化：权重与激活的对称/非对称策略

核心原理：量化阶段将FP32的权重和激活映射到INT8/INT16整数域。对称量化（zero-point=0）适合权重（通常关于0对称分布），非对称量化（zero-point≠0）适合激活（通常为ReLU输出，非负分布）。量化粒度上，逐层（per-tensor）实现简单但精度损失大，逐通道（per-channel）对权重效果显著，但对激活的硬件支持要求更高。

对比分析：

维度	对称量化	非对称量化	逐层	逐通道
适用对象	权重、双极性激活	单极性激活（ReLU）	小模型/快速部署	大模型/精度敏感
计算复杂度	低	中（需zero-point运算）	低	高
精度表现	权重良好	激活更优	可能损失1~3%	损失通常<1%
硬件支持	广泛	部分NPU不支持	所有硬件	需确认指令集

操作流程：

对权重使用per-channel对称量化，对激活使用per-tensor非对称量化（若硬件支持）。
将量化参数（scale、zero-point）以常量节点的形式嵌入量化模型。
导出为ONNX/TFLite/自定义IR，并验证每个算子的量化描述符（quantization descriptor）是否正确。

常见误区：很多工程师直接使用框架默认的per-tensor量化，忽略了per-channel对卷积权重的重要性。对于通道数大于64的卷积层，per-channel与per-tensor的精度差距可能超过2%。

4.4 部署：硬件适配与scale对齐验证

核心原理：部署阶段的核心任务是将量化模型映射到目标硬件（CPU、GPU、NPU、DSP）的INT8指令集上。不同硬件对量化格式的支持不同：有些要求权重和激活必须使用相同的scale（统一scale），有些允许每层独立scale，还有些要求特定对齐方式（如TensorRT要求张量scale必须是2的幂次）。scale对齐错误通常表现为：模型输出完全错误、精度骤降、或推理结果出现NaN/Inf。

判断方法：

逐层比对：在PC上使用量化模型推理同一输入，与硬件推理结果逐层比对，定位第一个出现偏差的层。
Scale导出检查：打印每层的scale值，检查是否存在异常大/小值（如scale=0或scale>1000）。
算子映射表：确认每个算子（Conv、MatMul、Add、GELU等）在目标硬件上是否有INT8实现，无实现则自动回退FP32。

案例拆解：某语音唤醒词模型在Cortex-M4上部署，使用CMSIS-NN库。初始量化后模型在PC上精度正常（98%），但部署到MCU后唤醒率降至70%。排查过程：

检查算子映射：发现框架将Softmax层自动回退为FP32，但MCU无FPU，导致计算极慢且精度异常。
检查scale对齐：打印每层scale，发现第3层卷积的scale为0.0003，而后续全连接层scale为0.02，两者相差近100倍。MCU的SIMD指令要求相邻层scale比值必须为2的幂次，否则需插入requantize操作。
解决方案：在量化配置中强制第3层与第4层使用统一scale（取两者几何平均），并插入requantize节点。修改后唤醒率恢复至95%。

复盘经验：部署前的scale对齐检查应作为标准流程。建议编写自动化脚本，遍历所有层，检查相邻层scale比值是否为2的幂次（或硬件要求的对齐规则），并输出警告。这比在硬件上逐层调试节省数天时间。

4.5 常见误区与总结复盘

误区	后果	正确做法
校准集与训练集分布不一致	部署精度大幅下降	混合多场景数据，覆盖边缘case
忽略预处理对齐	激活分布偏移，scale失真	复用训练脚本的预处理代码
盲目使用MinMax校准	离群值拉大范围，精度损失	先可视化分布，再选Percentile/MSE
所有层使用per-tensor	深度网络精度损失明显	权重用per-channel，激活用per-tensor
部署后不验证scale对齐	硬件输出错误，难以定位	编写scale检查脚本，逐层比对

总结：PTQ的完整流程是一个系统工程，数据准备是基础，校准是核心，量化是策略，部署是验证。四个阶段环环相扣，任何一环的疏忽都会在最终部署时暴露。建议工程师在项目启动初期就建立“量化检查清单”，包括校准集构建标准、校准方法选择依据、量化粒度配置、以及部署后的scale对齐验证脚本。只有将流程标准化，才能确保PTQ在Edge AI产品中稳定落地。