4、原框架模型输出获取：使用PyTorch/TensorFlow等框架加载模型并获取参考输出的方法

在OpenVINO精度排查流程中，获取原框架（PyTorch/TensorFlow等）的参考输出是至关重要的一步。参考输出是衡量IR模型（Intermediate Representation，中间表示）转换后精度损失的“金标准”。如果参考输出本身获取方式不当，后续所有精度对比都将失去意义。本章将系统讲解如何在不同深度学习框架中正确加载模型、准备输入数据、执行推理并提取参考输出，同时涵盖批处理、随机种子控制、算子差异等关键细节。

原框架参考输出获取流程 ① 模型加载 PyTorch: torch.load TF: tf.keras.models ② 输入预处理 Resize/Normalize CHW/NCHW格式 ③ 模型推理 eval()/no_grad 确定性设置 ④ 输出提取 numpy()/detach() 保存.npy/.npz 关键控制点 随机种子控制 torch.manual_seed(42) 推理模式切换 model.eval() + no_grad 数据格式对齐 NCHW vs NHWC / 精度类型 输出参考文件 (.npy / .npz)

上图展示了从原框架获取参考输出的完整流程。整个过程可以归纳为四个核心阶段：模型加载、输入预处理、模型推理和输出提取。每个阶段都有其特定的技术要点和易错点，下面将逐一展开详细讲解。

4.1 核心原理：为什么参考输出必须来自原框架

OpenVINO的IR模型转换过程涉及算子映射、图优化、精度调整（如FP32转FP16）等多个环节。这些环节都可能引入数值偏差。要量化这些偏差，必须有一个“未经过任何转换”的基准输出。这个基准就是原框架（PyTorch/TensorFlow）在相同输入下产生的输出。

参考输出的核心价值体现在三个方面：

  • 精度对比基准：IR模型的输出必须与原框架输出进行逐元素对比，计算最大误差、均方误差（MSE）等指标。
  • 算子级定位：当整体精度不达标时，可以通过逐层对比中间输出来定位是哪个算子引入了较大误差。
  • 回归测试依据：在模型优化（如量化、剪枝）后，参考输出用于验证优化是否保持了精度。

需要特别强调的是，参考输出必须使用完全相同的输入数据。如果输入数据不同，对比结果将毫无意义。因此，在实际操作中，通常需要将用于OpenVINO推理的输入数据（如图片、文本张量）保存下来，同时用于原框架推理。

关键原则：参考输出的获取必须与OpenVINO推理使用完全相同的输入数据、相同的预处理参数（均值、方差、缩放因子）和相同的输入张量布局。任何不一致都会导致精度对比失真。

4.2 判断方法与操作流程：分框架获取参考输出

不同深度学习框架的模型加载和推理API差异较大。下面分别介绍PyTorch和TensorFlow两大主流框架的标准操作流程。

4.2.1 PyTorch框架参考输出获取

PyTorch是当前学术界和工业界使用最广泛的框架之一。获取参考输出的标准流程如下：

  1. 加载模型：使用torch.load()加载模型权重，并实例化模型类。
  2. 切换推理模式：调用model.eval()关闭Dropout和BatchNorm的训练行为。
  3. 禁用梯度计算：使用torch.no_grad()上下文管理器，减少内存占用并确保确定性。
  4. 输入预处理：将输入数据转换为torch.Tensor，并调整维度为[N, C, H, W]（NCHW格式）。
  5. 执行推理：将输入张量传入模型，获取输出。
  6. 提取并保存：使用.detach().cpu().numpy()将输出转换为NumPy数组，保存为.npy文件。
import torch
import numpy as np

# 1. 加载模型
model = MyModelClass()
checkpoint = torch.load('model.pth', map_location='cpu')
model.load_state_dict(checkpoint['state_dict'] if 'state_dict' in checkpoint else checkpoint)

# 2. 切换推理模式
model.eval()

# 3. 准备输入（假设已从OpenVINO侧保存了输入数据）
input_data = np.load('input_data.npy')  # 形状: [1, 3, 224, 224]
input_tensor = torch.from_numpy(input_data).float()

# 4. 推理并获取输出
with torch.no_grad():
    output = model(input_tensor)
    # 如果模型有多个输出，使用 output[0], output[1] 等

# 5. 转换为NumPy并保存
output_np = output.cpu().numpy()
np.save('reference_output.npy', output_np)
print(f"参考输出形状: {output_np.shape}, 数据类型: {output_np.dtype}")

4.2.2 TensorFlow框架参考输出获取

TensorFlow 2.x使用Keras API加载模型，流程相对简洁：

  1. 加载模型：使用tf.keras.models.load_model()加载完整模型（包括权重和结构）。
  2. 输入预处理：将输入数据转换为tf.Tensor，注意TensorFlow默认使用NHWC格式[N, H, W, C]。
  3. 执行推理：直接调用模型对象进行预测。
  4. 提取并保存：使用.numpy()方法获取NumPy数组。
import tensorflow as tf
import numpy as np

# 1. 加载模型
model = tf.keras.models.load_model('model.h5')

# 2. 准备输入（NHWC格式）
input_data = np.load('input_data.npy')  # 形状: [1, 224, 224, 3]
input_tensor = tf.convert_to_tensor(input_data, dtype=tf.float32)

# 3. 推理
output = model(input_tensor, training=False)

# 4. 提取并保存
output_np = output.numpy()
np.save('reference_output_tf.npy', output_np)
print(f"参考输出形状: {output_np.shape}")

4.3 案例拆解：YOLOv5模型参考输出获取实战

下面通过一个完整的案例来演示参考输出的获取过程。假设我们有一个YOLOv5s模型，需要将其转换为OpenVINO IR格式，并验证转换精度。

背景与约束：YOLOv5模型包含检测头，输出为三个不同尺度的特征图。在OpenVINO中，这些输出会被展平或重新组织。因此，参考输出必须完整保留所有输出张量。

初始现象：转换后的IR模型在OpenVINO上推理结果与PyTorch原始结果存在明显偏差，检测框位置偏移较大。

关键输入数据：使用一张640×640的测试图片，预处理参数为：归一化到[0,1]，RGB通道顺序。

分析判断过程：首先怀疑是预处理不一致导致。检查发现OpenVINO侧使用了BGR通道顺序，而PyTorch侧使用RGB。修正后仍有微小偏差，进一步检查发现是输出后处理（NMS）的置信度阈值不同。

实际操作步骤：

# 步骤1：在PyTorch中获取参考输出
import torch
import numpy as np
from models.experimental import attempt_load

# 加载模型
model = attempt_load('yolov5s.pt', map_location='cpu')
model.eval()

# 预处理（与OpenVINO侧完全一致）
img = cv2.imread('test.jpg')
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)  # 统一为RGB
img = cv2.resize(img, (640, 640))
img = img.astype(np.float32) / 255.0
img_tensor = torch.from_numpy(img).permute(2, 0, 1).unsqueeze(0)  # [1,3,640,640]

# 推理
with torch.no_grad():
    outputs = model(img_tensor)  # 返回3个尺度的输出

# 保存所有输出
for i, out in enumerate(outputs):
    np.save(f'ref_output_{i}.npy', out.cpu().numpy())

# 步骤2：在OpenVINO中加载IR模型并推理
# 使用相同的输入数据，对比输出

结果对比：修正预处理后，IR模型输出与PyTorch参考输出的最大误差从0.35降至0.02，检测框位置误差从15像素降至2像素以内。

风险与代价：获取参考输出时，如果模型包含随机性操作（如Dropout），必须确保在eval()模式下运行。此外，对于动态形状模型，需要固定输入尺寸以保证输出形状一致。

复盘经验：参考输出的获取不是简单的“跑一遍模型”，而是需要严格对齐预处理、推理模式和输出格式。建议将参考输出获取脚本固化到自动化流程中，避免人工操作引入不一致。

4.4 常见误区与总结复盘

在实际项目中，工程师在获取参考输出时经常遇到以下问题：

误区 后果 正确做法
未调用model.eval() BatchNorm使用批统计量，Dropout随机失活，导致输出不稳定 推理前必须调用eval()或training=False
输入数据预处理不一致 像素值范围、通道顺序、归一化参数不同，导致输出偏差 使用与OpenVINO侧完全相同的预处理代码
未固定随机种子 某些算子（如随机采样）产生不同结果 设置torch.manual_seed(42)和np.random.seed(42)
输出张量未转为NumPy 无法直接用于对比或保存 使用.detach().cpu().numpy()（PyTorch）或.numpy()（TF）
忽略多输出模型 只保存了部分输出，导致对比不完整 遍历所有输出并分别保存
重要提醒：在获取参考输出时，务必记录模型的输入张量形状、数据类型和预处理参数。这些元数据应随参考输出文件一起保存，以便后续排查时核对。建议使用.npz格式同时保存多个输出和元数据。

总结复盘：获取原框架参考输出是OpenVINO精度排查的第一步，也是最重要的一步。一个可靠的参考输出需要满足三个条件：输入一致（与OpenVINO推理使用相同数据）、模式正确（推理模式而非训练模式）、输出完整（所有输出张量都被保存）。在实际操作中，建议将参考输出获取脚本与OpenVINO推理脚本放在同一项目中，共享预处理函数，从根源上避免不一致。

此外，对于量化模型（如INT8），参考输出应使用FP32精度获取，因为量化本身会引入误差，参考输出必须是“无损”的。如果原框架本身支持FP16推理，也可以额外保存一份FP16参考输出，用于分析精度损失是来自量化还是来自IR转换。

最后，建议将参考输出文件与输入数据文件一起归档，形成“精度测试数据集”。这样，在后续的模型迭代或OpenVINO版本升级时，可以快速回归验证精度是否发生变化。

← 上一章 📖 返回目录 下一章 →