VIP20

本课程属于：028-ONNX模型部署与推理优化 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

ONNX模型ONNX Runtime调优案例

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · ONNX与ONNX Runtime简…

课程导入学习目标

ONNX模型基础

ONNX格式 · 模型结构 · 节点与张量

ONNX模型基础

ONNX Runtime概述

ONNX Runtime架构 · 执行模式 · CPU与GPU支持

环境搭建与工具准备

安装ONNX Runtime · Python环境 · 性能分析工具（如onnxruntim…

环境搭建工具准备

模型转换与验证

将PyTorch/TensorFlo… · 使用onnx.checker验证模型 · 处理动态轴

模型转换验证

ONNX Runtime API使用

InferenceSession配置 · 输入输出绑定 · 运行选项（如优化级别）

性能基准测试方法

设计基准测试 · 测量延迟与吞吐量 · 使用onnxruntime的benc…

性能基准测试方法设计基准测试

图优化与级别

ONNX Runtime的图优化（如… · 算子融合） · 优化级别（ENABLE_ALL等）

图优化级别

算子融合与内核选择

常见融合（如Conv+BN） · 内核选择（CPU/GPU） · 使用TensorRT或OpenVIN…

算子融合内核选择

线程与并发调优

设置线程数 · 线程池配置 · 并行执行多个会话

线程并发调优

内存分配策略 · arena配置 · 减少峰值内存

内存优化内存分配策略

输入输出优化

数据布局（NCHW vs NHWC） · 数据类型（FP32 vs FP16） · 批处理大小

输入输出优化NCHW

动态形状处理

动态轴优化 · 形状推理 · 使用固定形状提升性能

动态形状处理动态轴优化

模型量化概念 · ONNX Runtime量化工具（如… · 动态量化与静态量化

量化基础模型量化概念

对ONNX模型进行量化 · 评估精度与性能 · 处理量化敏感层

量化实践ONNX

剪枝与稀疏化

模型剪枝方法 · 稀疏化支持 · 在ONNX Runtime中利用稀疏…

剪枝稀疏化

执行提供程序（EP）

CPU · CUDA · TensorRT

EP执行提供程序

CUDA EP配置 · TensorRT集成 · 多GPU支持

指令集优化（AVX等） · MKL-DNN/oneDNN · 线程绑定

性能分析实战

使用profiling工具定位瓶颈 · 分析算子耗时 · 内存占用

性能分析实战profiling

图像分类模型调优（如ResNet） · 进行优化与量化 · 提升推理速度

案例一ResNet

目标检测模型调优（如YOLO） · 使用TensorRT EP · 优化NMS

自然语言处理模型调优（如BERT） · 使用量化与蒸馏

实时推理系统调优 · 实现高吞吐

案例四实时推理系统调优

常见问题与解决方案

模型转换失败 · 精度下降 · 性能不升反降

常见问题解决方案

调优策略总结

系统化调优流程 · 性能与精度权衡 · 最佳实践

调优策略总结系统化调优流程

自定义算子 · 图编辑 · 多模型集成

高级主题自定义算子

性能对比与评估

不同优化组合的对比实验 · 结果分析

性能对比评估

综合实战项目

从给定模型出发 · 完成转换 · 优化

综合实战项目从给定模型出发

课程总结与展望

回顾关键点 · 未来趋势（如WebGPU · 边缘计算）

课程总结回顾关键点