VIP20
本课程属于：007-ONNX模型转换与算子兼容 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

ONNX Runtime图优化选项详解与推理加速资料

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 适用人群 · 课程结构
课程导入学习目标
02
ONNX与ONNX Runtime基础
ONNX模型格式 · 计算图概念 · ONNX Runtime架构与执行模…
ONNXRuntime
03
推理性能瓶颈分析
常见性能瓶颈（算子 · 内存 · IO）
推理性能瓶颈分析常见性能瓶颈
04
图优化概述
什么是图优化 · 图优化的目标（减少计算 · 内存优化
图优化概述什么是图优化
05
ONNX Runtime图优化选项总览
优化级别（basic · extended · layout）
ONNXRuntime
06
基本图优化（Basic Optimizations）
常量折叠 · 冗余节点消除 · 形状推断
BasicOptimization…
07
扩展图优化（Extended Optimizations）
算子融合（Conv+BN · MatMul+Add） · 算子替换（如将小算子替换为高效算子）
ExtendedOptimization…
08
布局优化（Layout Optimizations）
NCHW与NHWC布局转换 · 张量布局对性能的影响 · 布局优化在CPU/GPU上的差异
LayoutOptimization…
09
算子融合详解
常见融合模式（Conv+Relu · LSTM · Attention）
算子融合详解Conv+Relu
10
常量折叠与预计算
常量折叠原理 · 如何利用常量折叠减少运行时计算 · 实际案例
常量折叠预计算
11
冗余消除与死代码消除
识别冗余节点 · 消除无效计算 · 对模型大小和推理速度的影响
冗余消除死代码消除
12
图优化与精度权衡
优化可能引入的数值误差 · 如何评估精度损失 · 安全优化策略
图优化精度权衡
13
图优化选项的配置方法
通过C++/Python API设置… · 使用环境变量 · 配置文件方式
图优化选项的配置…C++/Python
14
使用onnxruntime.transformers优化Transformer模
针对BERT等模型的优化工具 · 融合Attention · LayerNorm等
onnxruntime.…Transformer
15
图优化与量化结合
量化感知训练 · 动态量化 · 静态量化与图优化的协同作用
图优化量化结合
16
图优化与算子内核选择
不同硬件（CPU · GPU · NPU）上的内核选择
图优化算子内核选择
17
图优化与内存优化
内存复用 · 内存池 · 减少峰值内存的图优化技术
图优化内存优化
18
图优化与多线程/并行执行
线程池配置 · 算子并行 · 图优化对并行性的影响
图优化多线程
19
图优化与动态形状
动态输入形状对图优化的挑战 · ONNX Runtime对动态形状的…
图优化动态形状
20
图优化与自定义算子
自定义算子的注册 · 图优化对自定义算子的处理 · 如何编写可优化的自定义算子
图优化自定义算子
21
图优化调试与验证
如何查看优化后的图（graph vi… · 比较优化前后输出 · 调试优化问题
图优化调试验证
22
性能基准测试方法
设计合理的基准测试 · 使用onnxruntime benc… · 分析性能数据
性能基准测试方法设计合理的基准测…
23
实战案例1
图像分类模型（ResNet）的图优化…
实战案例1ResNet
24
实战案例2
NLP模型（BERT）的图优化与推理… · 量化与图优化结合
实战案例2NLP
25
实战案例3
目标检测模型（YOLO）的图优化与推… · 融合后处理算子
实战案例3YOLO
26
常见问题与解决方案
优化后精度下降 · 优化不生效 · 性能提升不明显
常见问题解决方案
27
图优化与部署环境
不同平台（Windows · Linux · ARM）上的优化差异
图优化部署环境
28
ONNX Runtime与其他推理框架的图优化对比
与TensorRT · OpenVINO · TVM的优化策略对比
ONNXRuntime
29
综合实战项目
从ONNX模型导出到图优化 · 量化 · 部署的完整流程
综合实战项目ONNX
30
课程总结与进阶方向
回顾核心知识点 · 推荐学习资源 · 探讨图优化未来趋势（如自动优化
课程总结进阶方向