📚 课程目录第4章机器视觉模型准备与优化

4. 机器视觉模型准备与优化

在 Intel 边缘终端上部署机器视觉模型，第一步不是写推理代码，而是把训练框架产出的模型“翻译”成 OpenVINO 能高效执行的中间表示（Intermediate Representation，IR）。IR 由 .xml 与 .bin 两个文件组成：.xml 描述网络拓扑、算子连接与精度信息，.bin 保存权重与偏置的二进制数据。模型优化器（Model Optimizer，MO）负责完成这次转换，并在转换过程中顺带做图优化、常量折叠、算子融合与布局调整，使模型在 CPU、GPU、NPU 等 Intel 设备上获得更好的推理性能。

一、转换前的准备：环境与输入约定

模型优化器随 OpenVINO 开发套件一起安装。以 OpenVINO 2023 及之后的版本为例，推荐在 Python 虚拟环境中安装并激活 openvino-dev，然后通过 mo 命令行调用。转换前需要确认三件事：原始模型文件是否完整、输入张量的形状与布局是否明确、输入数据预处理方式是否与训练时一致。第三点最容易被忽略——如果训练时输入是 RGB、归一化到 [0,1]，而转换时按 BGR、0~255 处理，模型精度会明显下降，且这种误差不会在转换阶段报错。

以 ONNX 模型为例，一个典型的转换命令如下：

mo --input_model resnet18.onnx \
   --input_shape [1,3,224,224] \
   --mean_values [123.675,116.28,103.53] \
   --scale_values [58.395,57.12,57.375] \
   --output_dir ir/fp16 \
   --model_name resnet18

其中 --input_shape 指定 NCHW 布局下的批大小与通道数；--mean_values 与 --scale_values 会把预处理直接嵌入 IR，推理时无需再手动做减均值除方差。TensorFlow 模型通常使用 --input_model model.pb 并配合 --input 指定输入节点名；Caffe 模型则使用 --input_model deploy.prototxt --weight_model model.caffemodel。转换成功后，终端会输出层数、输入输出节点名以及 IR 版本，可用 benchmark_app 快速验证能否加载。

二、FP16 与 INT8：两种量化路径

IR 默认以 FP32 保存。对于边缘终端，FP16 是最省事的优化：它把权重和激活值压缩为 16 位浮点，模型体积约减半，在支持 FP16 的 GPU 上还能获得吞吐提升，而精度损失通常小于 0.1%。转换时只需加 --compress_to_fp16（新版本默认开启），无需校准数据，适合作为部署的第一版基线。

INT8 量化则把权重与激活值压到 8 位整数，模型体积约为 FP32 的四分之一，CPU 上配合 VNNI 指令可获得 2~4 倍加速。代价是必须做精度校准：OpenVINO 采用训练后量化（Post-Training Optimization，POT），用一批有代表性的校准图片统计激活值分布，为每个张量计算缩放因子（scale）和零点（zero point）。校准集不需要标注，但必须覆盖真实场景的光照、角度与类别分布，一般 100~500 张即可。若 INT8 精度掉点超过阈值，可启用 --accuracy-aware 让 POT 在精度约束下搜索混合精度方案，把敏感层保留为 FP16。

三、精度校准的实际操作与判据

POT 的调用方式有两种：命令行 pot 或 Python API。命令行方式需要准备一个描述文件，指定模型路径、校准数据加载器与量化算法。下面是一个简化的配置示例：

{
  "model": {
    "model_name": "resnet18",
    "model": "ir/fp16/resnet18.xml",
    "weights": "ir/fp16/resnet18.bin"
  },
  "engine": { "type": "accuracy_aware" },
  "compression": {
    "target_device": "CPU",
    "algorithms": [{ "name": "DefaultQuantization",
                    "params": { "preset": "performance" } }]
  }
}

校准数据加载器需要返回形如 (image, label) 的样本，其中 image 已按推理输入要求完成 resize 与归一化。POT 会先跑一遍 FP32 推理得到基准输出，再逐层统计激活范围，最后生成 INT8 IR。校准完成后，务必用独立的验证集对比 FP32 与 INT8 的精度指标：分类任务看 Top-1/Top-5，检测任务看 mAP@0.5。工程上常用的判据是 INT8 相对 FP32 掉点不超过 1%（分类）或 1.5%（检测）；若超出，优先检查校准集是否覆盖不足，再考虑启用 accuracy-aware 模式。

四、常见问题与排查方向

转换阶段最常见的报错是“不支持的算子”。此时可先用 mo --input_model model.onnx --framework onnx --silent 查看详细日志，确认是哪个节点未被映射。对于自定义算子，可通过 --extensions 加载自定义层实现，或在前端框架中把该算子替换为等价的标准算子组合。另一个高频问题是输入形状不匹配：ONNX 若使用动态维度，需用 --input_shape 固定为实际部署尺寸，否则 IR 无法在 NPU 上编译。此外，若模型包含 NonMaxSuppression 等后处理算子，建议在转换时用 --output 截断到检测头输出，把 NMS 放到应用层用 OpenVINO 的 Postprocessing 工具处理，避免设备端算子支持不全。

建议的转换顺序：先转 FP16 跑通推理链路并记录基准精度与延迟，再在同一份 FP16 IR 上做 INT8 校准。这样一旦 INT8 掉点，可以快速定位是量化引入还是原始模型本身的问题。

完成 IR 转换与量化后，模型体积、推理延迟与精度三者之间就形成了一组可权衡的参数。边缘终端通常优先保证延迟满足实时性（如 30 FPS），再在剩余算力预算内选择精度最高的精度模式。下一阶段即可把 IR 交给 OpenVINO Runtime，在 CPU、GPU 或 NPU 上做设备选择与异步推理编排。