课程导入：学习目标、适用人群、课程整体框架与学习路径
ONNX Runtime 作为跨平台推理引擎的事实标准，其核心价值在于"一次导出，多处运行"。然而，实际部署中开发者面临的最大困惑往往不是模型转换，而是面对 CPU、CUDA、TensorRT、OpenVINO、CoreML、NPU 等众多 Execution Provider（EP）时，不知道如何选择、如何配置、如何调优。本课程正是为解决这一痛点而设计——从 EP 的底层调度机制出发，建立一套可复用的选型决策框架，并辅以大量真实硬件上的性能对比数据与排障案例，帮助你在端侧部署中做出有理有据的技术决策。
上图展示了本课程的核心决策框架：从模型与硬件出发，经过五大维度评估，最终落到具体 EP 的选择与配置。整个课程将围绕这一框架逐层展开，帮助你建立系统化的选型方法论，而非零散的经验堆砌。
1.1 学习目标：学完本课程你将具备的能力
本课程不是简单的 API 文档解读，而是以工程决策为主线，帮助你完成从"会用"到"会选"再到"会调"的进阶。具体而言，学完本课程后，你应该具备以下四项核心能力：
| 能力维度 | 具体表现 | 对应章节 |
|---|---|---|
| 理解机制 | 能解释 EP 注册、算子分配、图优化的底层原理，明白为什么同一个模型在不同 EP 上性能差异巨大 | 第 2-4 章 |
| 选型判断 | 面对一个具体的端侧部署任务，能根据硬件、模型、业务约束快速缩小 EP 候选范围，并设计对比实验 | 第 5-8 章 |
| 调优实战 | 能通过 SessionOptions、图优化级别、内存策略、线程数等参数，将 EP 性能压榨到接近硬件理论峰值 | 第 9-15 章 |
| 排障能力 | 能读懂 EP 日志、定位算子不支持或性能回退的根因，并制定有效的 Fallback 策略 | 第 16-22 章 |
课程承诺：完成本课程后，你将不再需要盲目搜索"ONNX Runtime 哪个 EP 最快"这类问题，而是能够根据具体场景自行推导出答案，并给出可量化的性能验证数据。
1.2 适用人群：这门课适合谁？
本课程面向有一定深度学习基础、正在或即将从事模型部署工作的工程师。具体包括以下三类人群：
- 算法工程师转型部署：你熟悉 PyTorch/TensorFlow 模型训练，但对端侧推理的硬件差异、精度损失、性能调优缺乏系统认知。本课程将帮你补齐从"训练好的模型"到"可用的推理服务"之间的关键知识断层。
- 推理平台开发工程师：你负责公司内部的推理平台或中间件，需要为不同业务线提供 EP 选型建议和基础配置模板。本课程提供的决策框架和对比方法论，可以直接复用到你的平台设计中。
- 嵌入式/AIoT 开发者：你的目标硬件可能是 ARM CPU、Mali GPU、RKNN NPU 或 Intel 集成显卡，资源受限且对延迟敏感。本课程将重点讲解如何在资源约束下做出最优的 EP 取舍。
前置要求：需要熟悉 Python 基础语法，了解 ONNX 模型的基本结构（节点、张量、算子），并至少在一个端侧平台上跑通过 ONNX Runtime 的简单推理。如果你完全没有接触过 ONNX Runtime，建议先花 2-3 小时阅读官方 Get Started 文档再开始本课程。
1.3 课程整体框架：六大模块，层层递进
本课程共 30 章，分为六大模块，每个模块解决一个核心问题。模块之间既有先后依赖，又相对独立，你可以按顺序学习，也可以根据实际需求跳转查阅。
| 模块 | 章节范围 | 核心主题 | 学习产出 |
|---|---|---|---|
| 模块一：基础认知 | 第 1-4 章 | EP 概念、架构、调度机制、图优化 | 理解 EP 底层工作原理，能读懂 EP 日志 |
| 模块二：硬件与 EP 全景 | 第 5-10 章 | CPU、CUDA、TensorRT、OpenVINO、CoreML、NPU 逐一拆解 | 掌握每个 EP 的适用场景、性能特征、配置要点 |
| 模块三：选型方法论 | 第 11-14 章 | 决策树、基准测试方法、精度评估、成本分析 | 建立可复用的 EP 选型流程和评估模板 |
| 模块四：调优实战 | 第 15-20 章 | SessionOptions、线程/内存/执行模式、动态形状、量化 | 掌握 10+ 项关键调优参数，能独立完成性能优化 |
| 模块五：排障与 Fallback | 第 21-25 章 | 算子不支持、精度异常、性能回退、多 EP 混合 | 能快速定位并解决 80% 以上的 EP 相关线上问题 |
| 模块六：场景案例 | 第 26-30 章 | CV、NLP、语音、推荐系统、边缘网关完整案例 | 具备独立完成端侧部署项目的能力 |
1.4 学习路径建议：三种路线，按需选择
考虑到不同读者的时间预算和学习目标，我们设计了三条学习路径。你可以根据自己的情况灵活选择，不必拘泥于线性顺序。
路径 A：快速上手（约 1 周） —— 适合项目紧急、需要立刻做出 EP 选型决策的工程师。
- 精读第 1-3 章，理解 EP 基本概念和调度机制。
- 直接跳到第 11-12 章，学习决策树和基准测试方法。
- 根据你的目标硬件，选读第 5-10 章中对应的 EP 章节。
- 最后看第 26 章（CV 案例）或第 29 章（边缘网关案例），模仿完整流程。
路径 B：系统学习（约 3 周） —— 适合希望建立完整知识体系的部署工程师。
- 按顺序学习模块一至模块四，每章完成后完成课后练习。
- 模块五的排障章节建议结合自己的实际项目边做边学。
- 模块六的案例章节作为综合演练，尝试独立复现每个案例。
路径 C：按需查阅（长期） —— 适合已经有一定经验、遇到具体问题需要参考的开发者。
- 将本课程作为工具书，遇到 EP 选型问题先查第 11 章决策树。
- 遇到性能瓶颈查第 15-20 章的调优参数表。
- 遇到报错信息查第 21-25 章的排障流程图。
1.5 常见误区与学习建议
在多年的部署培训和项目咨询中，我们发现初学者在 EP 学习上容易陷入几个典型误区。提前指出这些误区，能帮助你少走弯路。
| 误区 | 错误认知 | 正确理解 |
|---|---|---|
| 误区一 | "EP 越多越好，全部注册上总能选到最快的" | 多 EP 注册会增加 Session 创建开销和内存占用，且 EP 间的算子分配存在优先级冲突，反而可能降低性能 |
| 误区二 | "TensorRT 一定比 CUDA 快" | TensorRT 在 FP16/INT8 和大 batch 场景优势明显，但在小 batch、动态形状或某些算子（如动态循环）上可能不如 CUDA EP |
| 误区三 | "精度损失是量化导致的，与 EP 无关" | 不同 EP 的算子实现算法不同（如卷积的 Winograd 与 FFT），即使 FP32 也可能产生微小精度差异，需要单独验证 |
| 误区四 | "性能调优就是调线程数" | 线程数只是众多参数之一，图优化级别、内存分配策略、执行模式（顺序/并行）、算子融合等往往影响更大 |
学习建议：每学完一个 EP 章节，建议在你的目标硬件上实际跑一遍官方提供的 benchmark 脚本，记录数据并对比课程中的参考值。硬件型号、驱动版本、ONNX Runtime 版本都会影响性能数据，只有亲手验证过的结论才是可靠的。
本课程的所有案例和实验数据均基于 ONNX Runtime 1.17+ 版本，硬件平台覆盖 Intel x86、ARM Cortex-A 系列、NVIDIA Jetson、Apple M 系列芯片等常见端侧设备。建议你准备至少一块目标硬件用于动手实践，如果暂时没有，也可以使用云端的 GPU/CPU 实例完成大部分实验。