VIP20
本课程属于：006-ONNX Runtime端侧推理部署 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

ONNX Runtime端侧SessionOptions配置实战指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 适用人群 · 课程结构
课程导入学习目标
02
ONNX Runtime基础
ONNX模型格式 · 推理引擎架构 · 端侧（移动端/嵌入式）部署挑战与优势
ONNXRuntime
03
SessionOptions概览
什么是SessionOptions · 与Session的关系 · 配置生命周期
SessionOptio…概览
04
环境准备
安装ONNX Runtime（CPU… · 版本选择 · 交叉编译与端侧依赖库配置
环境准备ONNX
05
核心配置项
线程数（intra_op/ inte… · 执行模式（sequential/pa… · 优化级别（graph optimiz…
核心配置项intra
06
内存管理配置
arena策略 · 内存分配器选择 · 内存复用
内存管理配置arena
07
设备与执行提供程序
CPU · CUDA · TensorRT
设备执行提供程序
08
模型优化配置
图优化开关 · 常量折叠 · 算子融合
模型优化配置图优化开关
09
输入输出配置
动态形状 · 静态形状 · 输入输出名称绑定
输入输出配置动态形状
10
日志与调试配置
日志级别 · 模型加载信息 · 性能剖析开关
日志调试配置
11
性能调优配置
延迟与吞吐量平衡 · 批处理大小 · 缓存机制
性能调优配置延迟
12
端侧特有配置
低功耗模式 · 热降频应对 · 内存受限场景
端侧特有配置低功耗模式
13
多线程与并发配置
线程池大小 · 任务调度 · 并发推理实例
多线程并发配置
14
模型加密与安全配置
模型加密加载 · 密钥管理 · 防止模型窃取
模型加密安全配置
15
自定义算子与扩展配置
注册自定义算子 · 自定义执行提供程序 · 扩展SessionOptions的接…
自定义算子扩展配置
16
配置持久化与序列化
将SessionOptions保存为… · 加载配置 · 跨平台一致性
配置持久化序列化
17
Android端实战
Android Studio集成 · JNI配置 · SessionOptions典型设置
Android端实战
18
iOS端实战
Xcode集成 · Metal/CoreML配置 · SessionOptions适配
iOS端实战
19
Linux/嵌入式实战
树莓派 · Jetson等平台配置 · 交叉编译
Linux嵌入式实战
20
Windows/macOS桌面端实战
桌面端SessionOptions配… · GPU加速 · 多模型管理
Windows/macO…桌面端实战
21
案例一
图像分类模型端侧部署——从ONNX导…
案例一ONNX
22
案例二
目标检测模型（YOLO）端侧部署——… · NMS后处理与SessionOpti…
案例二YOLO
23
案例三
NLP模型（BERT）端侧部署——序… · 注意力优化 · 内存控制
案例三NLP
24
案例四
多模型流水线——多个SessionO… · 共享内存 · 异步推理
案例四SessionO
25
常见问题一
模型加载失败 · 算子不支持 · EP不匹配的排查与解决
常见问题一模型加载失败
26
常见问题二
性能不达标 · 内存溢出 · 线程冲突的定位与调优策略
常见问题二性能不达标
27
常见问题三
精度损失 · 量化误差 · 动态形状处理不当的应对方法
常见问题三精度损失
28
高级技巧
结合硬件特性（NPU/DSP） · 自定义内存池 · 混合精度推理
高级技巧NPU/DSP
29
性能基准测试与评估
设计基准测试 · 分析指标（延迟/吞吐/功耗） · 对比不同配置
性能基准测试评估
30
综合实战项目
从零构建一个端侧推理应用 · 整合所有SessionOptions… · 并输出调优报告
综合实战项目从零构建一个端侧…