1. 课程导入
1.1 学习目标与课程结构
欢迎进入《ONNX模型ONNX Runtime调优案例》课程。在深度学习模型从研究走向生产的过程中，模型转换与高效推理往往是决定项目成败的关键环节。本课程不追求面面俱到的理论堆砌，而是以真实可复现的案例为主线，帮助你建立一套系统化的调优方法论。
完成本课程后，你将能够：
- 理解ONNX与ONNX Runtime的核心架构，清楚模型从PyTorch/TensorFlow导出到ONNX，再到Runtime执行的全链路数据流。
- 定位推理性能瓶颈，掌握使用profiler、graph优化开关、算子融合日志等工具分析耗时分布的方法。
- 应用分层调优策略，从图优化、算子替换、线程/执行模式配置到硬件后端适配，形成可复用的调优清单。
- 规避常见陷阱，识别动态shape、精度下降、内存碎片、CPU/GPU执行差异等高频问题，并具备独立排查能力。
课程共30章，结构上划分为四大模块：基础认知（第1-5章）、图优化与算子调优（第6-15章）、执行模式与硬件适配（第16-24章）、综合案例与复盘（第25-30章）。每章均配有可运行的代码片段与性能对比数据，建议你边学边动手实验。
onnxruntime、onnx、psutil、py-spy 等依赖库。所有实验代码均可在CPU环境运行，部分章节涉及CUDA的案例会单独标注。
1.2 ONNX与ONNX Runtime：从模型格式到推理引擎
ONNX（Open Neural Network Exchange）本质上是一种开放式的模型中间表示协议。它定义了一套跨框架的算子集合（opschema）和图结构描述规范。当你将PyTorch模型导出为ONNX时，实际上是将训练框架中的动态计算图“冻结”为一份静态的、带版本信息的计算图文件。这份文件不依赖任何特定训练框架，只描述数据如何从输入张量经过一系列算子变换流向输出张量。
ONNX Runtime则是微软开源的跨平台推理引擎。它读取ONNX模型文件，经过图优化、算子内核选择、执行计划编排后，在目标硬件（CPU、GPU、NPU等）上高效运行。其核心设计理念是“一次转换，多处高效部署”。
下图展示了从训练框架到ONNX Runtime执行的核心数据流与优化层级：
上图揭示了调优的关键切入点：图优化阶段决定了计算图的结构紧凑度，内核选择阶段决定了单个算子的执行效率，执行计划阶段决定了内存与线程的利用效率。三者相互影响，例如图优化后的算子融合会改变后续内核选择的对象，而执行计划中的内存复用策略又依赖于图优化后的张量生命周期分析。
1.3 调优的重要性：从“能跑”到“跑得快”
在实际生产环境中，模型转换后直接运行往往只能发挥硬件潜力的30%-60%。未经调优的ONNX模型可能包含大量冗余的Transpose算子（由于框架间数据布局不一致）、未融合的BatchNorm层、动态shape导致的反复内存分配，以及默认线程数配置不当引发的CPU资源争抢。
以下是一个典型的性能对比场景：
| 优化阶段 | ResNet50推理延迟 (ms, CPU) | 吞吐量 (images/s) | 备注 |
|---|---|---|---|
| 原始导出ONNX | 38.2 | 26 | 包含大量Transpose与冗余节点 |
| 开启图优化 (O2) | 24.7 | 40 | 算子融合生效，减少内存拷贝 |
| + 动态shape固定 | 21.3 | 47 | 避免每次推理重新分配内存 |
| + 线程数调优 | 18.6 | 54 | 匹配物理核数，减少上下文切换 |
从表中可以看到，经过系统化调优后，推理延迟降低了约51%，吞吐量提升了一倍以上。这种提升在微服务架构中意味着更低的响应时间、更少的实例副本以及更低的云资源成本。
1.4 调优的核心误区与复盘
Transpose节点，并考虑在预处理阶段直接生成NHWC数据。
复盘方法：每次调优实验都应记录以下基线信息：模型名称与算子集版本、ONNX Runtime版本、硬件型号与核心数、输入shape与数据类型、优化级别、线程数、执行模式（顺序/并行）、平均延迟与P99延迟。只有控制变量，才能准确归因性能提升来源。