4. 工业模型转换与中间表示

在工业 AI 推理平台中，训练框架与推理引擎往往不是同一套技术栈。算法工程师习惯用 PyTorch 或 TensorFlow 训练模型，而 Intel 平台上的高效推理依赖 OpenVINO 的中间表示（Intermediate Representation，IR）。IR 由 .xml 与 .bin 两个文件组成：.xml 描述网络拓扑、算子类型、连接关系与张量形状，.bin 保存权重与偏置等常量数据。转换的本质，是把源框架的计算图翻译成 OpenVINO 能识别、能优化、能在 CPU/GPU/NPU 上执行的等价图。

理解转换流程，关键要抓住“中间表示”这一层。OpenVINO 并不直接解析 PyTorch 的 nn.Module，也不直接吃 TensorFlow 的 SavedModel，而是先把它们统一落到 ONNX 或框架前端，再映射到 OpenVINO 的算子集合（如 Convolution、MatMul、Add、Reshape、Transpose、Softmax 等）。因此，ONNX 常被当作“通用中转站”，但它不是唯一路径：OpenVINO 也提供 PyTorch 前端与 TensorFlow 前端，可直接读取相应格式。

一、三条主流转换路径

第一条路径是 PyTorch → ONNX → IR。先用 torch.onnx.export 导出 ONNX，再用 OpenVINO 的 ov.convert_model 或 mo 命令转成 IR。导出时必须提供示例输入张量，因为它决定了图中各节点的静态形状。例如一个工业缺陷检测模型输入为 [1,3,640,640]，导出命令可写为：

torch.onnx.export(
    model, dummy_input,
    "defect.onnx",
    input_names=["images"],
    output_names=["boxes", "scores"],
    opset_version=13,
    dynamic_axes={"images": {0: "batch"}}
)

第二条路径是 TensorFlow → IR。OpenVINO 可直接读取 SavedModel 目录或冻结图 .pb，无需先转 ONNX。第三条路径是 PyTorch → OpenVINO 前端直读，即用 ov.convert_model(torch_model, example_input=...) 直接转换，省去 ONNX 落盘，但对自定义算子的支持依赖前端版本。

二、算子映射：转换真正发生的地方

转换器逐节点遍历源图，把源算子翻译成 OpenVINO 算子。多数标准算子是一对一或一对多映射：Conv2d 映射为 Convolution，BatchNorm 在推理阶段常被折叠进卷积权重，Gemm 映射为 MatMul 加 Add，Upsample 映射为 Interpolate。真正容易出问题的是三类：自定义算子、控制流算子、以及依赖动态形状的算子。

以工业场景常见的 torch.nn.functional.grid_sample 为例，早期 opset 没有对应 ONNX 算子，导出时会被拆成大量基础算子，甚至直接报“不支持”。此时的处理策略有三种：升级 opset 到支持该算子的版本；用等价的基础算子组合重写该模块；或注册自定义算子并在 OpenVINO 侧用 Extension 补充实现。选择哪一种，取决于模型精度容忍度与部署时间成本。

三、常见转换错误与处理

错误一：Unsupported operation。 转换日志会明确指出算子名与所在节点。先确认该算子是否在所用 OpenVINO 版本的算子支持列表中；若不在，优先考虑用 opset_version 升级或改写模型结构。若必须保留，则通过 --extension 加载自定义扩展。

错误二：Shape mismatch。 多由动态轴未固定或 Reshape 的目标形状来自运行时张量引起。处理方式是在导出时用 dynamic_axes 明确声明哪些轴可变，其余轴固定；对 Reshape，尽量把目标形状写成常量，或在转换后用 ov.Model.reshape 重新指定输入形状。

错误三：精度下降。 转换本身不改变数值，但图优化（如常量折叠、算子融合）可能改变计算顺序。若发现 IR 推理结果与源框架偏差超过阈值（例如分类任务 top-1 不一致），应关闭部分优化或逐层比对中间输出，定位是哪个融合节点引入偏差。

四、一个可复用的转换检查清单

把转换看作一次“图翻译 + 图优化”，而不是简单的格式另存，就能理解为什么同一模型在不同 opset、不同 OpenVINO 版本下表现不同。工业部署中，建议把转换脚本、opset 版本、示例输入形状和验证结果一起纳入版本管理，确保每次模型更新都能复现出可用的 IR。