3、模型量化基础：量化原理（定点与浮点）、量化类型（PTQ/QAT）、量化粒度（per-tensor/per-channel）及精度影响
在Edge AI场景中，模型量化是连接“高性能浮点模型”与“受限端侧硬件”之间的关键桥梁。端侧芯片（如NPU、DSP、MCU）通常以INT8或INT16作为主要计算精度，以换取更低的功耗、更小的内存带宽占用和更高的吞吐量。理解量化原理，不仅是掌握PTQ（训练后量化）与QAT（量化感知训练）的操作步骤，更是为了在精度损失与资源收益之间做出工程化的权衡决策。本节将从定点与浮点的数学本质出发，系统拆解量化类型、量化粒度及其对端侧部署的实际影响。
3.1 定点与浮点的数学本质与硬件代价
浮点数（如FP32）采用科学计数法表示，由符号位、指数位和尾数位组成，能够以极高的动态范围表达从极小到极大的数值。在深度学习训练阶段，梯度更新需要精细的数值分辨率，因此FP32是标准选择。然而，端侧推理芯片为了降低硅片面积和功耗，通常采用定点数（如INT8）作为主要计算格式。定点数将数值均匀映射到固定区间，例如INT8的[-128, 127]，每个间隔代表一个固定的量化步长（scale）。
从硬件角度看，FP32乘法器需要约4倍于INT8乘法器的晶体管面积，功耗也相应增加。在电池供电的IoT设备或手机NPU中，大量使用INT8计算可以将能效比提升5-10倍。但定点表示面临两个核心问题：动态范围受限和精度分辨率固定。例如，当激活值范围在[0, 0.01]时，INT8的量化步长为0.01/255≈0.000039，可以较好表示；但当范围扩大到[0, 1000]时，步长变为3.92，小数值将被完全抹平。
在端侧部署中，选择定点格式不仅是精度问题，更是系统级设计问题。例如，在STM32F4系列MCU上，CMSIS-NN库利用DSP指令实现INT8卷积，相比FP32可提速4-6倍。但若模型包含大量深度可分离卷积（如MobileNet），其逐通道操作的并行度较低，INT8收益可能打折。因此，工程师需要先分析模型的计算热点，再决定量化策略。
3.2 量化类型：PTQ与QAT的工程取舍
训练后量化（PTQ）是最直接的方案：加载预训练FP32模型，使用少量校准数据（通常500-2000张图片）统计各层激活值的分布范围，然后计算scale和zero_point。PTQ无需反向传播，部署周期短，适合快速原型验证。但其精度损失在极端量化（如INT4）或小模型（如MobileNetV3）上可能超过5%，导致任务失败。
量化感知训练（QAT）则在训练过程中模拟量化误差。具体做法是在前向传播时插入伪量化节点（fake quant），将权重和激活值先量化再反量化，使模型在训练阶段就适应量化噪声。QAT通常需要微调或完整重训，计算成本高，但能显著恢复精度。以TensorFlow Lite为例，QAT模型在COCO检测任务上可将mAP损失从PTQ的3.2%降至0.8%。
| 对比维度 | PTQ（训练后量化） | QAT（量化感知训练） |
|---|---|---|
| 所需数据 | 少量校准集（无标签） | 带标签训练集 |
| 计算开销 | 分钟级（仅推理） | 小时~天级（需训练） |
| 精度恢复能力 | 中等（大模型较好） | 高（可接近FP32） |
| 适用场景 | 快速部署、模型较大 | 小模型、精度敏感任务 |
| 工具链支持 | PyTorch/ONNX/TFLite原生 | 需额外训练脚本 |
实际工程中，推荐采用先PTQ后QAT的阶梯策略：先用PTQ快速评估量化损失，若精度下降在可接受范围内（如<1%），则直接部署；若超出阈值，则针对敏感层（如检测头、注意力层）进行混合精度量化，或对全模型实施QAT。这种策略能平衡开发周期与最终精度。
3.3 量化粒度：从per-tensor到per-channel的精度跃升
量化粒度决定了scale和zero_point的共享范围。Per-tensor量化为整个张量（如某层权重）使用一组量化参数，实现最简单，硬件支持最友好。但卷积层的权重分布往往因输出通道而异——某些通道的权重范围是[-0.1, 0.1]，另一些可能是[-2.0, 2.0]。若统一使用全局范围，小范围通道的量化步长被拉大，导致信息丢失。
Per-channel量化为每个输出通道单独计算scale，显著提升了权重量化精度。以MobileNetV2为例，per-channel量化可将Top-1准确率损失从per-tensor的2.8%降至0.9%。但代价是硬件需要支持多组scale参数，部分低端NPU或MCU的DSP指令集不支持此特性，导致无法利用硬件加速。激活值通常仍使用per-tensor量化，因为激活分布随输入动态变化，逐通道统计成本过高。
此外，还有更细粒度的per-vector量化（如中的128列一组）和混合精度量化（不同层使用不同bit数）。这些高级方法通常用于大语言模型（LLM）的端侧部署，例如将注意力层的QKV权重保持INT8，而FFN层降为INT4，可在保持困惑度（perplexity）几乎不变的情况下将模型压缩至1/4。
3.4 精度影响分析与实战案例：以人脸检测模型为例
为了直观理解量化对端侧模型的影响，我们以一个轻量级人脸检测模型（类似BlazeFace）为例，目标部署平台为瑞芯微RV1126（内置NPU，支持INT8混合精度）。模型输入为192×192×3，主干为MobileNetV2结构，输出为锚框回归和分类分数。
初始现象：直接使用PTQ将FP32模型转为INT8后，在验证集（WIDER Face）上的mAP从0.82降至0.71，下降幅度达13.4%，远超预期。进一步分析发现，模型在检测小尺寸人脸（<20像素）时几乎完全失效。
关键数据与诊断：通过逐层对比量化前后激活值的余弦相似度，发现第12层（最后一个深度可分离卷积）和第15层（输出回归头）的相似度仅为0.82和0.76。这两层的激活值分布呈现明显的长尾特征——大部分值集中在[-0.5, 0.5]，但少量异常值达到±5.0。Per-tensor量化将范围设为[-5.0, 5.0]，导致主要信息区间的量化步长过大。
分析判断：问题根源在于激活值分布的非均匀性。解决方案有两种：一是改用per-channel激活量化（但RV1126 NPU不支持）；二是对敏感层进行离群值截断（clipping），将范围压缩至[-2.0, 2.0]，接受少量异常值被截断。
实际操作步骤：
- 使用TensorFlow Lite Converter进行PTQ，设置代表性数据集（500张含各种尺度人脸的图片）。
- 导出量化模型后，利用NPU工具链（RKNN Toolkit）的逐层分析功能，定位相似度低于0.85的层。
- 对第12层和第15层设置自定义量化范围：通过统计校准集激活值的百分位数，将范围设为[P1, P99]（即1%和99%分位数），而非全局min/max。
- 重新量化并部署，mAP恢复至0.79，损失控制在3.7%以内。
结果对比与复盘：通过针对性的范围截断，避免了QAT所需的重新训练成本（约2天GPU时间），仅用半天完成了精度恢复。但代价是极端光照或大姿态变化下的检测鲁棒性略有下降。复盘经验：量化不是简单的“一键转换”，而是需要结合数据分布、硬件特性和任务敏感度的联合优化。建议在项目初期就建立量化评估流水线，包括逐层敏感度分析和校准集代表性检查。
3.5 常见误区与总结复盘
误区二：忽略zero_point的作用。对于非对称量化，zero_point若设置不当，会导致ReLU后的全正激活值被错误映射到负数区间，引入系统性偏移。
误区三：在硬件不支持per-channel时强行使用，导致模型在NPU上回退到CPU执行，推理延迟反而增加。
总结本节要点：量化是Edge AI部署的必经之路，其核心在于理解定点与浮点的表示差异，并根据硬件能力选择合适的量化类型与粒度。PTQ适合快速迭代，QAT适合精度敏感场景；per-channel量化精度更高但需硬件支持。在实际项目中，务必结合数据分布分析和逐层敏感度诊断，避免“一刀切”式量化。最后，建立量化前后的评估闭环——不仅看整体精度指标，还要关注任务关键子集（如小目标、低光照）的表现，确保端侧模型在真实场景中可靠运行。