VIP20
本课程属于：006-ONNX Runtime端侧推理部署 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

ONNX Runtime端侧Execution Provider选择教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 适用人群 · 课程整体框架与学习路径
课程导入学习目标
02
ONNX Runtime基础
ONNX模型格式 · Runtime架构 · Session与Execution…
ONNXRuntime
03
端侧推理概述
移动端与嵌入式设备的特点 · 性能指标 · 功耗与内存约束
端侧推理概述移动端
04
Execution Provider（EP）核心机制
EP的作用 · 注册方式 · 执行流程与调度原理
ExecutionProvider
05
常见端侧EP全景
CPU · GPU（OpenCL/Metal/V… · NPU（DSP/NNAPI/Hexa…
EP常见端侧
06
EP选择决策树
根据硬件 · 模型类型 · 精度要求
EP选择决策树
07
CPU EP详解
XNNPACK · MLAS等后端 · 线程配置
CPUEP
08
GPU EP详解
OpenCL · Metal · Vulkan的差异
GPUEP
09
NPU EP详解
NNAPI · CoreML · XNNPACK NPU等
NPUEP
10
EP可用性检测
运行时查询可用EP · 版本兼容性 · 硬件能力判断
EP可用性检测
11
EP配置实战
通过C++/Python API设置… · 优先级 · 选项与回退策略
EP配置实战
12
模型转换与优化
ONNX模型优化（图优化 · 量化 · 剪枝）对EP选择的影响
模型转换优化
13
量化与EP协同
INT8/FP16量化在不同EP上的…
EP量化
14
多EP混合执行
异构计算 · 算子级EP分配 · 图分割与部分加速
EP混合执行
15
性能基准测试方法
设计基准测试 · 测量延迟/吞吐/功耗 · 对比不同EP
性能基准测试方法设计基准测试
16
内存与功耗优化
EP选择对内存占用 · 电池寿命的影响及调优技巧
内存功耗优化
17
Android端实战
在Android应用中集成ONNX… · 选择NNAPI/GPU/CPU EP
Android端实战
18
iOS端实战
使用CoreML EP与Metal… · 适配iPhone/iPad
iOS端实战
19
Linux/嵌入式实战
在树莓派 · Jetson等设备上选择EP并部署
Linux嵌入式实战
20
Windows端实战
使用DirectML EP与CPU… · 桌面应用集成
Windows端实战
21
模型兼容性排查
算子不支持 · 精度下降 · 崩溃等问题的诊断与解决
模型兼容性排查算子不支持
22
EP回退与容错
主EP失败时自动切换备用EP · 保证推理稳定性
EP回退
23
日志与调试
开启ONNX Runtime日志 · 分析EP执行详情 · 定位瓶颈
日志调试
24
高级调优
线程池 · 内存池 · 图优化级别
高级调优线程池
25
自定义EP开发入门
了解EP接口 · 编写简单自定义EP的流程
EP自定义
26
案例实战
图像分类模型在手机端多EP对比与最佳…
案例实战EP
27
案例实战
目标检测模型在嵌入式设备上的EP选择…
案例实战EP
28
案例实战
NLP模型（BERT）在端侧不同EP…
案例实战NLP
29
常见问题与陷阱
EP选择错误 · 驱动缺失 · 硬件差异导致的坑与规避
常见问题陷阱
30
综合提升与未来趋势
端侧AI芯片发展 · ONNX Runtime新EP · 课程总结与进阶资源
综合提升未来趋势