📚 课程目录第4章模型转换与量化基础

4. 模型转换与量化基础

在Snapdragon边缘AI视觉平台的实际部署中，训练框架与推理运行时之间并不是直接对接的。TensorFlow、PyTorch训练出的模型通常包含大量训练专用算子、动态形状和浮点权重，而Hexagon DSP、Adreno GPU与CPU组成的异构计算单元需要的是经过图优化、算子融合和量化压缩后的DLC或QNN模型。理解这条转换链路，是判断“模型能不能跑、跑多快、精度掉多少”的基础。

一、转换链路的核心对象与阶段划分

从训练框架到设备端推理，模型经历三个关键形态：训练图（TensorFlow SavedModel / PyTorch TorchScript）、中间交换格式（ONNX）、目标运行时格式（DLC或QNN）。SNPE工具链主要消费DLC，而QNN SDK则使用QNN模型与上下文二进制。两者并非互斥：DLC可进一步编译为QNN上下文，也可以直接由ONNX经QNN转换器生成。

转换过程中真正影响视觉精度的环节集中在三处：算子映射是否完整、图优化是否改变了数值语义、量化标定是否覆盖了真实数据分布。下面这张图展示了从训练框架到设备端推理的完整数据流与格式变化关系。

二、DLC转换的关键操作与常见陷阱

以PyTorch模型为例，第一步是导出ONNX。假设我们有一个输入为1×3×224×224的ResNet-18分类模型，导出命令如下：

torch.onnx.export(
    model, dummy_input,
    "resnet18.onnx",
    opset_version=13,
    input_names=["input"],
    output_names=["output"],
    dynamic_axes={"input": {0: "batch"}}
)

导出后建议先用onnxruntime做一次推理校验，确认ONNX输出与PyTorch输出在1e-4量级内一致。随后使用SNPE的转换器：

snpe-onnx-to-dlc --input_network resnet18.onnx \
  --input_dim input 1,3,224,224 \
  --output_path resnet18.dlc

转换时最容易出问题的不是算子本身，而是输入维度声明与动态轴处理。SNPE对动态batch的支持有限，若ONNX中保留了动态轴而DLC未显式固定，运行时可能报维度不匹配。另一个高频问题是算子版本：ONNX opset 17中的某些算子（如LayerNormalization）在旧版SNPE中可能不被识别，需要降级opset或替换为等效子图。

三、INT8与FP16量化的精度影响机制

FP16量化相对温和：权重和激活从32位浮点压缩为16位浮点，动态范围仍然很大，视觉任务中Top-1精度通常只下降0.1%~0.5%。它的主要收益是模型体积减半、内存带宽需求降低，在Adreno GPU上往往能获得1.3~1.8倍加速。

INT8量化则激进得多。它把浮点值映射到8位整数，映射公式为：

real_value ≈ scale × (quantized_value - zero_point)

其中scale和zero_point由标定过程确定。对于视觉模型，INT8的精度损失高度依赖网络结构：分类网络（ResNet、MobileNet）通常掉0.5%~2%；检测网络（YOLO系列）由于回归分支对数值敏感，mAP可能掉2%~5%；分割网络对边缘细节敏感，IoU下降更明显。关键变量是标定集是否覆盖真实场景分布——如果标定集全是白天图像，夜间推理时激活值超出标定范围，量化误差会急剧放大。

四、精度评估的实操方法与判断依据

评估不能只看一个最终指标。建议按以下顺序执行：

建立FP32基线：在相同测试集上记录Top-1/Top-5或mAP，作为对比基准。
FP16对比：转换FP16 DLC后重跑测试集，计算指标差值。若下降超过1%，检查是否有算子被回退到CPU执行。
INT8对比：使用200~500张标定图像生成量化模型，重跑测试集。同时记录逐层输出与FP32的余弦相似度，定位敏感层。
敏感层回退：对余弦相似度低于0.98的层，在量化配置中将其排除，保持FP16精度，形成混合精度模型。

标定图像应从真实业务场景中随机抽取，覆盖不同光照、角度、遮挡和类别。数量不必多，但分布必须具有代表性。标定集与测试集必须严格分离，否则评估结果会偏乐观。

五、一个可复用的量化评估记录表

下表可用于记录每次转换的配置与精度结果，便于横向对比不同量化策略：

模型版本	格式	量化方式	标定集	Top-1	相对FP32差值	推理延迟
ResNet-18	PyTorch	FP32	—	69.8%	基线	—
ResNet-18	DLC	FP16	—	69.6%	-0.2%	1.4×
ResNet-18	DLC	INT8	300张	68.9%	-0.9%	2.6×
ResNet-18	DLC	INT8混合	300张	69.4%	-0.4%	2.2×

表中数据为教学示例，用于说明评估维度与记录方式，并非特定设备的实测结果。实际部署时应以目标芯片（如SM8550、SM8650）上的SNPE/QNN Runtime实测为准。

INT8量化后若发现某一类别的召回率骤降，优先检查该类别的样本是否在标定集中缺失。视觉任务中，小目标、低对比度和罕见类别的激活值往往落在标定分布边缘，是量化误差的高发区。

掌握这条转换链路后，面对一个新模型时就能按“导出ONNX→校验→转DLC/QNN→标定→评估→敏感层回退”的路径推进，而不是在精度下降时盲目猜测原因。下一阶段将进入具体的DLC编译与设备端推理性能分析。