VIP20
本课程属于：028-ONNX模型部署与推理优化 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

ONNX模型TensorRT推理优化指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程大纲 · ONNX与TensorRT概述
课程导入学习目标
02
环境搭建
安装ONNX · TensorRT · CUDA
环境搭建ONNX
03
ONNX模型基础
ONNX格式 · 模型结构 · 节点与张量
ONNX模型基础
04
TensorRT基础
TensorRT架构 · 推理流程 · 优化原理
TensorRT架构
05
ONNX模型导出
从PyTorch/TensorFlo… · 注意事项
ONNX模型导出
06
ONNX模型检查
使用Netron可视化 · onnxruntime验证正确性
ONNX模型检查
07
TensorRT引擎构建
使用trtexec工具转换ONNX到…
TensorRT引擎构建
08
Python API构建引擎
使用TensorRT Python…
PythonAPI
09
精度设置
FP32 · FP16 · INT8精度选择与权衡
精度设置FP32
10
动态形状处理
设置动态输入尺寸 · 优化动态batch
动态形状处理设置动态输入尺寸
11
工作空间与内存优化
设置工作空间大小 · 减少内存占用
工作空间内存优化
12
层融合与图优化
理解TensorRT的层融合策略
层融合图优化
13
性能分析
使用Nsight Systems和T…
性能分析Nsight
14
推理部署
使用TensorRT引擎进行推理 · 处理输入输出
推理部署TensorRT
15
批量推理优化
使用多流 · 多线程提升吞吐量
批量推理优化使用多流
16
INT8量化
校准数据集准备 · 校准器实现 · 精度评估
INT8量化
17
常见问题与调试
处理转换失败 · 精度下降 · 性能不佳
常见问题调试
18
案例实战
图像分类模型优化（ResNet）
案例实战ResNet
19
案例实战
目标检测模型优化（YOLOv5）
案例实战YOLOv5
20
案例实战
语义分割模型优化（DeepLabV3…
案例实战DeepLabV3
21
案例实战
自然语言处理模型优化（BERT）
案例实战BERT
22
TensorRT与深度学习框架集成
与PyTorch/TensorFlo…
TensorRT深度学习框架集成
23
TensorRT与推理服务
使用Triton Inference…
TensorRT推理服务
24
边缘设备部署
在Jetson等嵌入式平台优化
边缘设备部署Jetson
25
多模型管理与流水线
多模型并发推理
多模型管理流水线
26
性能调优进阶
使用TensorRT的tactic选… · 算法选择
性能调优进阶TensorRT
27
模型压缩与剪枝
结合TensorRT的优化
模型压缩剪枝
28
安全与可靠性
错误处理 · 日志记录 · 版本兼容
安全可靠性
29
综合项目
端到端优化流程 · 从ONNX到TensorRT部署
综合项目端到端优化流程
30
课程总结
知识回顾 · 最佳实践 · 学习路径建议
课程总结知识回顾