4、模型转换与量化：PyTorch/TensorFlow模型转BMCOMPILE，INT8量化与精度评估

在BM1688工业视觉应用中，算法模型从训练环境到边缘设备的落地，必须经历模型转换与量化这一关键环节。PyTorch或TensorFlow训练出的FP32模型，往往包含大量冗余计算和过高的数值精度，直接部署在BM1688上不仅推理速度不达标，还会占用过多内存带宽。本章将围绕模型转换的标准流程、INT8量化原理、精度评估方法以及工业场景下的实战调优展开，帮助学员建立从“训练模型”到“可部署模型”的完整工程链路。

上图展示了从FP32训练模型到BM1688 INT8部署的完整链路。整个流程并非单向的“转换-量化-部署”，而是包含精度评估反馈的闭环工程。在实际工业项目中，往往需要多次迭代才能达到满意的精度与性能平衡。下面我们将分模块深入讲解每个环节的核心原理与操作要点。

4.1 模型转换核心原理与前置准备

模型转换的本质是将训练框架中的计算图映射为BM1688的指令集和算子库。BMCOMPILE工具链支持PyTorch（.pt/.pth）、TensorFlow（.pb/.h5）、ONNX等主流格式。但转换并非简单的格式替换，而是涉及算子映射、图优化、内存布局调整等多个层面。

在转换前，必须对训练模型进行预处理：

• 移除训练专用层：Dropout、BatchNorm（BN）在训练时行为与推理时不同，转换工具通常会自动折叠BN层到前一卷积层，但Dropout必须手动移除。
• 固定输入尺寸：BM1688对动态输入尺寸支持有限，工业视觉场景建议固定为640×640或512×512等常用分辨率。
• 算子兼容性检查：使用 bmneto --check 或 bmcompile --verify 命令预先检测模型中是否存在不支持的算子。

# PyTorch模型转换示例（使用bmneto工具）
bmneto --model=defect_det.pt \
       --outdir=./bm_model \
       --input_names="input" \
       --output_names="output" \
       --shapes="[1,3,640,640]" \
       --target="BM1688" \
       --cmp=True

转换完成后，工具会生成FP32的BMODEL文件以及转换报告。报告中包含算子映射统计、CPU回退列表和预估性能。建议仔细阅读该报告，若CPU回退算子过多，需考虑修改模型结构或使用ONNX中间格式重新导出。

4.2 INT8量化原理与校准流程

INT8量化是将FP32权重和激活值映射到8位整数（-128~127）的过程，理论上可将模型体积压缩至1/4，推理速度提升2~4倍。BM1688的TPU原生支持INT8计算，因此量化是发挥其算力的关键步骤。

量化方式	原理	精度损失	适用场景
训练后量化（PTQ）	使用校准数据集统计激活值分布，计算缩放因子	较小（通常<1%）	大多数工业视觉模型
量化感知训练（QAT）	在训练过程中模拟量化误差，微调权重	极小（可<0.3%）	对精度要求极高或PTQ失效时
混合精度量化	对敏感层保留FP16/FP32，其余层INT8	可控	检测头、回归头等敏感结构

PTQ是工业部署中最常用的方案，其核心流程包括：

1. 准备校准数据集：选取100~500张具有代表性的图像，覆盖各类缺陷类型、光照条件、遮挡情况。校准集应来自真实产线采集，而非训练集随机抽样。
2. 执行校准：运行 bmcalibrator 工具，工具会前向传播校准数据，统计每层激活值的min/max或百分位分布。
3. 阈值搜索：对每层选择最优量化阈值，常用方法包括KL散度最小化、均方误差最小化等。BMCOMPILE默认使用改进的KL散度方法。
4. 生成INT8模型：将量化参数写入BMODEL，生成INT8版本。

4.3 精度评估方法与调优策略

量化后的模型必须经过严格的精度评估才能上线。评估不能只看mAP或准确率等宏观指标，还需关注单层输出差异，以便定位精度损失来源。

评估流程分为三个层次：

• 全局指标对比：在验证集上对比FP32与INT8模型的mAP、F1-score、召回率等。工业缺陷检测通常要求mAP下降不超过2%，召回率下降不超过1%。
• 输出张量比对：使用 bmrt_test 工具逐层比对FP32与INT8模型的中间输出，计算余弦相似度。若某层相似度低于0.95，则该层为敏感层。
• 业务指标验证：在真实产线图像上测试漏检率和误检率，确保满足生产要求。

# 使用bmrt_test进行输出比对
bmrt_test --model=defect_int8.bmodel \
          --input=test_img.jpg \
          --compare=defect_fp32.bmodel \
          --tolerance=0.95

当精度不达标时，可依次尝试以下调优策略：

1. 调整校准集：增加困难样本（如低对比度缺陷、反光表面）的占比。
2. 修改量化阈值：对敏感层手动指定百分位阈值（如99.99%），而非默认的KL散度。
3. 混合精度量化：对检测头、回归头等敏感层保留FP16，其余层INT8。
4. 量化感知训练：若上述方法均无效，需回到训练阶段进行QAT。

4.4 实战案例：PCB缺陷检测模型量化调优

某电子制造企业需要在BM1688上部署PCB表面缺陷检测模型，检测目标包括短路、断路、划痕、异物四类缺陷。原始模型为PyTorch训练的YOLOv5s，输入尺寸640×640，FP32模型推理速度仅12 FPS，无法满足产线20 FPS的节拍要求。

初始状态：FP32模型mAP为0.932，转换为INT8后mAP降至0.871，下降6.1个百分点，超出2%的容忍阈值。进一步分析发现，召回率从0.918降至0.842，漏检主要集中在“划痕”类缺陷——该类缺陷对比度低、边缘模糊，量化后特征信息损失严重。

分析过程：使用 bmrt_test 逐层比对，发现第12层（特征提取网络深层）和第20层（检测头）的余弦相似度分别为0.912和0.887，明显低于其他层的0.97以上。这两层恰好负责细粒度特征提取和边界框回归，对数值精度敏感。

调优步骤：

1. 重新采集校准集：增加50张低对比度划痕样本，使校准集中划痕类占比从15%提升至30%。
2. 对第20层（检测头）设置混合精度，保留FP16计算。
3. 对第12层手动设置量化阈值为99.99%百分位，而非默认的99.9%。

结果对比：

方案	mAP	召回率	推理速度
FP32原始模型	0.932	0.918	12 FPS
INT8默认量化	0.871	0.842	32 FPS
INT8+校准集优化	0.905	0.887	32 FPS
INT8+混合精度+阈值调整	0.921	0.909	28 FPS

最终方案在保持28 FPS推理速度（满足产线要求）的同时，mAP仅下降1.1个百分点，召回率下降0.9个百分点，均在可接受范围内。整个调优过程耗时2个工作日，其中校准集优化贡献了约60%的精度恢复，混合精度贡献了约30%，阈值调整贡献了约10%。

复盘经验：工业缺陷检测模型的量化调优，应优先从校准集入手——这是成本最低、效果最显著的手段。只有当校准集优化无法满足要求时，才考虑混合精度或QAT。此外，建议在项目初期就建立“量化评估基线”，将FP32模型作为参照物，每次调优后对比基线指标，避免盲目调整。

4.5 常见误区与工程总结

在模型转换与量化实践中，工程师常陷入以下误区：

• 误区一：校准集直接使用训练集。训练集与部署场景分布可能存在偏差，且训练集样本冗余度高，不利于统计真实激活值分布。应使用独立的、来自产线的校准集。
• 误区二：追求100%算子TPU化。少量CPU回退算子（如NMS、某些自定义后处理）并不会显著影响整体性能，强行改造模型结构反而可能引入新误差。
• 误区三：忽略输入数据预处理的一致性。训练时的归一化参数（mean/std）必须与部署时完全一致，否则量化误差会被放大。建议将归一化操作融入模型计算图，或使用BMCOMPILE的预处理配置。
• 误区四：只关注mAP不关注单类指标。工业场景中，不同缺陷类型的漏检代价不同。例如，短路缺陷漏检可能导致整批PCB报废，而划痕漏检可能仅影响外观。量化调优时应按缺陷类型加权评估。