VIP20
本课程属于：028-ONNX模型部署与推理优化 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

ONNX模型GPU推理加速避坑指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · GPU推理加速的基本概念与重要性
课程导入学习目标
02
ONNX模型基础
ONNX格式介绍 · 模型导出与加载 · 模型结构可视化
ONNX模型基础
03
GPU推理环境搭建
CUDA · cuDNN · TensorRT等依赖安装与版本匹配
GPU推理环境搭建
04
ONNX Runtime GPU支持
ONNX Runtime的GPU版本… · 执行提供程序选择
ONNXRuntime
05
GPU推理性能评估
基准测试方法 · 性能指标（延迟 · 吞吐量）
GPU推理性能评估
06
常见性能瓶颈
数据加载瓶颈 · 预处理瓶颈 · 模型计算瓶颈
常见性能瓶颈数据加载瓶颈
07
模型优化技术
图优化 · 算子融合 · 精度校准（FP16/INT8）
模型优化技术图优化
08
TensorRT集成
TensorRT引擎构建 · 动态形状处理 · 与ONNX Runtime的对比
TensorRT集成
09
内存管理优化
显存占用分析 · 内存池 · 内存复用策略
内存管理优化显存占用分析
10
多流与并发推理
多GPU并行 · 多线程推理 · 异步推理
多流并发推理
11
动态形状处理
动态batch · 动态分辨率 · 形状推理优化
动态形状处理batch
12
模型转换避坑
PyTorch/TensorFlow…
模型转换避坑PyTorch/Tens…
13
算子兼容性检查
不支持的算子 · 版本差异 · 自定义算子处理
算子兼容性检查不支持的算子
14
精度损失问题
FP16/INT8精度下降原因与缓解…
精度损失问题FP16/INT8
15
推理结果不一致
CPU与GPU结果差异 · 随机性控制
推理结果不一致CPU
16
性能调优实战
以ResNet50为例的调优流程
性能调优实战ResNet50
17
性能调优实战
以YOLOv5为例的检测模型优化
性能调优实战YOLOv5
18
性能调优实战
以BERT为例的NLP模型优化
性能调优实战BERT
19
部署环境问题
Docker容器中的GPU支持 · 云服务器GPU配置
部署环境问题Docker
20
日志与调试
ONNX Runtime日志 · TensorRT日志 · 错误排查技巧
日志调试
21
性能监控与调优工具
Nsight · TensorBoard · Profiler使用
性能监控调优工具
22
常见错误与解决方案
CUDA错误 · 显存不足 · 驱动问题等
常见错误解决方案
23
模型量化深入
量化原理 · 量化感知训练 · 后训练量化
模型量化深入量化原理
24
推理框架对比
ONNX Runtime vs Te…
推理框架对比ONNX
25
端到端案例
图像分类模型从PyTorch到ONN…
端到端案例PyTorch
26
端到端案例
目标检测模型从TensorFlow到…
端到端案例TensorFlow
27
端到端案例
NLP模型从HuggingFace到…
端到端案例NLP
28
性能优化进阶
CUDA图 · 自定义算子 · 内核融合
性能优化进阶CUDA
29
综合实战项目
构建一个高性能GPU推理服务（含AP…
综合实战项目GPU
30
课程总结与展望
常见问题回顾 · 最佳实践总结 · 未来趋势
课程总结常见问题回顾