3、PTQ原理：训练后量化的流程、动态范围与静态范围、量化误差来源

训练后量化（Post-Training Quantization, PTQ）是TinyML部署中最常用的模型压缩手段。与量化感知训练（QAT）不同，PTQ不需要重新训练模型，而是直接对训练好的浮点模型进行权重和激活值的定点化转换。理解PTQ的底层原理，是正确采集校准集、选择量化参数、评估精度损失的前提。本章将系统拆解PTQ的完整流程、动态范围与静态范围的区别，以及量化误差的三大来源，帮助你在实际项目中建立科学的量化决策框架。

3.1 PTQ的核心流程：从浮点模型到定点模型

PTQ的完整流程可以概括为五个关键步骤：模型加载与解析、校准集采集、激活值分布统计、量化参数计算、量化模型生成与验证。每一步都有其特定的输入、输出和注意事项，任何一步的疏忽都可能导致最终量化模型精度显著下降。

3.1.1 模型加载与解析

首先需要加载训练好的浮点模型（如TensorFlow的SavedModel、PyTorch的.pt或ONNX格式），并解析出模型的计算图结构。在这一步中，需要重点关注哪些层是量化敏感层（如卷积层、全连接层、BatchNorm层），哪些层是量化不敏感层（如ReLU、MaxPooling）。对于BatchNorm层，在量化前通常需要将其折叠到前一层的卷积或全连接权重中，以减少量化误差的累积。

3.1.2 校准集采集

校准集是PTQ中用于统计激活值动态范围的样本集合。它不需要带标签，但必须覆盖模型在真实部署场景中可能遇到的数据分布。校准集的大小通常为100~500张图片或1000~2000个样本片段，具体取决于模型的复杂度和数据多样性。采集校准集时，应遵循以下原则：

• 代表性：校准集应包含不同光照、角度、背景、噪声水平的样本，避免只采集“理想”条件下的数据。
• 多样性：对于分类模型，每个类别至少包含5~10个样本；对于检测模型，应覆盖不同目标尺寸和遮挡情况。
• 数量适中：校准集过小会导致动态范围估计偏差，过大则增加统计时间，但不会显著提升精度。

3.1.3 激活值分布统计与量化参数计算

将校准集输入浮点模型，记录每一层激活值的分布情况。常用的统计方法包括：记录全局最小/最大值（MinMax）、绘制直方图（Histogram）、使用百分位数（Percentile）或KL散度（KL Divergence）等。基于统计结果，计算每个张量的量化参数：缩放因子（scale）和零点（zero-point）。对于对称量化，zero-point固定为0；对于非对称量化，zero-point根据min/max计算。

# 非对称量化参数计算示例（伪代码）
min_val = min(activation_tensor)
max_val = max(activation_tensor)
scale = (max_val - min_val) / 255  # 8bit量化
zero_point = round(-min_val / scale)
zero_point = clamp(zero_point, 0, 255)

3.1.4 量化模型生成与验证

将计算好的量化参数应用到模型权重和激活值上，生成量化模型。最后，使用测试集对量化模型进行精度验证，对比浮点模型的精度差异。如果精度损失超过可接受范围（通常为2%~5%），则需要调整校准集、更换动态范围统计方法，或考虑使用量化感知训练。

3.2 动态范围与静态范围：理解量化尺度的核心

在量化中，动态范围（Dynamic Range）和静态范围（Static Range）是两个容易混淆但本质不同的概念。动态范围指的是某一层激活值或权重在实际运行中可能出现的数值范围，即从最小值到最大值的区间；而静态范围则是指量化格式本身能表示的数值范围，例如8bit无符号整数可以表示0~255，8bit有符号整数可以表示-128~127。

3.2.1 动态范围的统计方法

动态范围的准确估计是PTQ的核心任务。常用的统计方法包括：

• MinMax法：直接取校准集中激活值的最小值和最大值作为动态范围。简单快速，但对离群点敏感。
• 百分位法（Percentile）：取激活值分布的0.1%和99.9%分位数作为动态范围，排除极端离群值的影响。
• KL散度法：通过最小化量化前后分布的KL散度来确定最优的动态范围截断点，是TensorFlow Lite默认使用的方法。

3.2.2 静态范围与量化精度的关系

静态范围由量化位宽决定。8bit量化提供256个离散级别，16bit提供65536个级别。静态范围越大，量化分辨率越高，但模型体积和计算量也相应增加。在TinyML场景中，8bit量化是主流选择，因为它在精度损失和资源占用之间取得了最佳平衡。

动态范围与静态范围的匹配程度决定了量化误差的大小。如果动态范围远小于静态范围，则量化分辨率浪费，精度损失增大；如果动态范围超出静态范围，则会发生截断，产生饱和误差。因此，量化参数计算的核心目标就是让动态范围尽可能匹配静态范围。

3.3 量化误差的三大来源：舍入、截断与范围失配

量化误差是不可避免的，但理解其来源可以帮助我们针对性地减小误差。量化误差主要来自以下三个方面：

3.3.1 舍入误差（Rounding Error）

当浮点数值映射到最近的量化级别时，会产生舍入误差。例如，浮点数0.3在8bit量化中可能被映射为0.298或0.302，误差约为±0.002。舍入误差的大小取决于量化步长（scale），步长越小，误差越小。舍入误差是随机的，在多层网络中会部分相互抵消，但也会累积。

3.3.2 截断误差（Clipping Error）

当激活值或权重超出动态范围时，会被截断到边界值。例如，如果动态范围设置为[-1.0, 1.0]，而某个激活值为1.5，则会被截断为1.0，产生0.5的误差。截断误差是系统性的，会显著影响模型精度，尤其是在存在离群值的情况下。

3.3.3 范围失配误差（Range Mismatch Error）

这是指动态范围估计不准确导致的误差。如果校准集不能代表真实数据分布，或者统计方法选择不当，会导致动态范围偏大或偏小。范围偏大浪费量化精度，范围偏小则增加截断误差。范围失配误差是PTQ中最难控制的因素，也是校准集采集质量的关键所在。

3.4 案例拆解：智能家居关键词唤醒模型的PTQ量化

下面通过一个实际的TinyML案例，展示PTQ流程中如何分析误差来源并优化量化效果。

3.4.1 项目背景与初始目标

某智能家居设备需要部署一个关键词唤醒模型（如“小爱同学”），模型结构为两层卷积+两层全连接，参数量约180KB，浮点模型在测试集上的准确率为96.2%。目标是将模型量化为8bit，部署到Cortex-M4微控制器上，要求精度损失不超过2%，即量化后准确率不低于94.2%。

3.4.2 初始量化与问题发现

工程师使用默认的MinMax方法采集了200个校准样本（每个关键词50个），完成量化后测试准确率仅为89.5%，远低于目标。通过分析各层的激活值分布，发现第一层卷积的输出存在明显的离群值（最大值是99.9%分位数的5倍），导致动态范围被过度拉大，量化步长增大，舍入误差显著增加。

3.4.3 分析与调整过程

针对上述问题，工程师采取了以下优化措施：

1. 更换动态范围统计方法：将MinMax改为百分位法，取0.1%和99.9%分位数作为动态范围，排除离群值的影响。
2. 增加校准集多样性：在原有200个样本基础上，增加了50个带有环境噪声（如电视声、空调声）的样本，使校准集更接近真实使用场景。
3. 分层量化参数调整：对第一层卷积使用非对称量化（因为ReLU后特征图非负），对全连接层使用对称量化。

3.4.4 结果对比与复盘

最终方案将精度损失控制在0.8%，满足部署要求。复盘发现，离群值处理和校准集代表性是影响PTQ效果的两大关键因素。此外，分层量化策略（不同层使用不同的量化参数）虽然增加了实现复杂度，但对精度提升有显著帮助。

3.5 常见误区与总结复盘

在PTQ实践中，以下误区需要特别注意：

• 误区一：校准集越大越好。实际上，超过一定数量后，增加校准集对动态范围估计的改善微乎其微，反而增加统计时间。关键在于样本的多样性而非数量。
• 误区二：所有层都使用相同的量化配置。不同层的激活值分布差异很大，统一配置会导致部分层精度损失严重。建议对敏感层（如第一层卷积、最后的全连接层）单独设置量化参数。
• 误区三：忽略BatchNorm折叠。如果不折叠BatchNorm，其参数会被单独量化，引入额外的误差。务必在量化前完成折叠。
• 误区四：只关注权重量化，忽视激活值量化。激活值的动态范围通常比权重更大且更难预测，是量化误差的主要来源。