📚 课程目录第1章课程导入

1. 课程导入

欢迎进入《ONNX Runtime导出与图优化实战》。在开始写第一行导出代码之前，我们需要先建立一张清晰的“地图”：ONNX 是什么、ONNX Runtime 又是什么，它们各自解决什么问题，以及本课程将沿着怎样的路线带你从模型导出走到图优化落地。很多同学在实战中遇到的困惑，往往不是 API 不会用，而是对“模型格式”和“推理引擎”这两个层次的职责边界认识模糊。本章的目标，就是先把这层认知打牢。

一、核心原理：ONNX 是“契约”，ONNX Runtime 是“执行者”

ONNX（Open Neural Network Exchange）本质上是一种开放的模型表示格式，它用统一的算子集（Operator Set）和计算图（Graph）来描述神经网络。你可以把它理解为模型世界的“通用语言”：PyTorch、TensorFlow、PaddlePaddle 等训练框架都可以把模型翻译成 ONNX，从而脱离原框架运行。ONNX 定义的是“算什么”，而不是“怎么算”。

ONNX Runtime（简称 ORT）则是一个跨平台推理引擎，它读取 ONNX 模型，负责“怎么算”——包括算子内核选择、内存复用、线程调度、硬件加速（CPU、CUDA、TensorRT、OpenVINO、DirectML 等）。ONNX 是静态的图，ORT 是让这张图高效跑起来的运行时。二者关系可以概括为：ONNX 提供可移植性，ORT 提供高性能。

一句话记忆：ONNX 负责“模型能带走”，ONNX Runtime 负责“模型跑得快”。导出解决兼容性，图优化解决性能，二者缺一不可。

二、方法流程：从训练产物到高效推理的完整链路

一个典型的 ONNX 落地流程包含五个阶段，理解这条链路有助于你在后续章节中定位问题所在：

导出：从训练框架生成 .onnx 文件，确定 opset 版本、输入输出名称与动态维度。
校验：使用 onnx.checker 与 onnxruntime 对比原框架输出，确认数值一致性。
加载：通过 InferenceSession 创建会话，配置执行提供器与线程参数。
优化：启用图优化级别，进行常量折叠、冗余节点消除、算子融合与量化。
剖析：用 profiling 定位耗时算子，迭代调整，形成可复现的部署配置。

下面是一段最小可运行的导出与加载示例，后续章节会逐行展开：

import torch
import onnxruntime as ort

# 1. 导出 ONNX
torch.onnx.export(
    model,                      # 训练好的模型
    dummy_input,                # 示例输入
    "model.onnx",               # 输出路径
    opset_version=17,           # 算子集版本
    input_names=["input"],      # 输入名
    output_names=["output"],    # 输出名
    dynamic_axes={"input": {0: "batch"}}  # 动态 batch
)

# 2. 加载并推理
sess = ort.InferenceSession(
    "model.onnx",
    providers=["CPUExecutionProvider"]
)
print(sess.get_inputs()[0].name, sess.get_outputs()[0].name)

三、案例与场景：为什么需要这套组合

假设你在 PyTorch 中训练了一个图像分类模型，现在要部署到三种环境：云端 GPU 服务器、边缘端 ARM 设备、以及浏览器端。如果直接依赖 PyTorch，边缘端和浏览器端会非常吃力。此时把模型导出为 ONNX，再分别用 ORT 的 CUDA、CPU、Web 执行提供器加载，就能用同一份模型文件覆盖多端。这就是 ONNX 的可移植性价值。

再比如，模型在 GPU 上推理延迟偏高。通过 ORT 的图优化与量化，把 FP32 转为 INT8，配合算子融合，往往能获得数倍加速。这就是 ORT 的性能价值。下表对比了两者在关注点上的差异：

维度	ONNX	ONNX Runtime
角色	模型表示格式	推理执行引擎
核心产物	.onnx 计算图文件	InferenceSession 会话
关键概念	opset、IR 版本、算子	执行提供器、图优化级别
主要收益	跨框架、跨平台可移植	低延迟、高吞吐、硬件加速
典型问题	算子不支持、版本不匹配	精度偏差、线程与内存配置

四、误区与复盘：新手最容易踩的坑

误区一：导出成功就等于部署成功。导出只是第一步，若未做数值校验，可能因算子近似或动态维度错误导致线上结果偏差。

误区二：盲目追求最新 opset。opset 越高算子越全，但目标 ORT 版本可能不支持，需按部署环境选择。

误区三：忽略图优化级别。默认优化可能未开启全部融合，性能未达预期却误以为是硬件问题。

复盘建议：建立“导出—校验—优化—剖析”四步检查清单，每次部署前逐项确认，并记录 opset、ORT 版本、执行提供器与优化级别，保证结果可复现。

五、学习目标与整体课程框架

完成本课程后，你将能够：独立完成主流框架的 ONNX 导出；排查算子不支持与版本冲突；配置 ORT 执行提供器与线程参数；应用图优化与量化提升性能；使用 profiling 定位瓶颈并形成部署方案。

课程整体分为四个模块：基础篇（ONNX 格式、opset、导出原理）、导出篇（PyTorch/TF 导出与校验）、优化篇（图优化、量化、算子融合）、实战篇（多端部署、性能剖析与调优）。本章作为导入，帮助你建立全局视角，后续每一章都会围绕具体操作与真实场景展开。

现在，请带着“ONNX 管可移植、ORT 管高性能”这条主线，进入接下来的实战学习。