VIP20
本课程属于：024-英伟达技术 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

英伟达TensorRT模型部署与性能优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · TensorRT在AI部署中的角色与…
课程导入学习目标
02
环境搭建
安装CUDA · cuDNN · TensorRT
环境搭建CUDA
03
TensorRT基础概念
引擎 · 上下文 · 绑定
TensorRT基础概念
04
模型转换流程
从ONNX到TensorRT的转换步…
模型转换流程ONNX
05
ONNX模型导出
从PyTorch/TensorFlo…
ONNX模型导出
06
TensorRT API入门
使用Python API构建引擎并执…
TensorRTAPI
07
TensorRT C++ API入门
C++推理代码编写与编译
TensorRTC++
08
精度与性能权衡
FP32 · FP16 · INT8精度的选择与影响
精度性能权衡
09
工作空间与内存管理
设置工作空间大小 · 优化内存占用
工作空间内存管理
10
动态形状支持
处理可变输入尺寸 · 配置优化配置文件
动态形状支持处理可变输入尺寸
11
层融合与内核自动调优
理解TensorRT的优化原理
层融合内核自动调优
12
INT8量化原理
校准方法 · 校准数据集准备与实现
INT8量化原理
13
INT8量化实战
使用TensorRT进行INT8量化…
INT8量化实战
14
TensorRT插件开发
自定义层实现与注册
TensorRT插件开发
15
多流推理与并发
使用CUDA流提升吞吐量
多流推理并发
16
TensorRT与深度学习框架集成
在PyTorch/TensorFlo…
TensorRT深度学习框架集成
17
TensorRT与Triton推理服务器
部署高性能服务
TensorRTTriton
18
性能分析工具
使用NVIDIA Nsight · TensorRT Profiler等…
性能分析工具NVIDIA
19
常见部署问题与解决方案
内存泄漏 · 精度异常 · 兼容性问题
常见部署问题解决方案
20
案例实战
图像分类模型部署与优化
案例实战图像分类模型部署
21
案例实战
目标检测模型（YOLO）部署与优化
案例实战YOLO
22
案例实战
语义分割模型部署与优化
案例实战语义分割模型部署
23
案例实战
自然语言处理模型（BERT）部署与优…
案例实战BERT
24
模型压缩与加速
结合TensorRT与模型剪枝 · 蒸馏
模型压缩加速
25
TensorRT版本演进与特性
了解最新版本的新功能
TensorRT版本演进
26
边缘设备部署
在Jetson平台使用TensorR…
边缘设备部署Jetson
27
TensorRT与TensorRT-LLM
大语言模型推理优化
TensorRTTensorRT-LLM
28
综合项目
端到端部署流程设计与实现
综合项目端到端部署流程设…
29
性能调优高级技巧
多profile · 延迟与吞吐平衡
性能调优高级技巧profile
30
课程总结与进阶路径
回顾关键点 · 推荐学习资源
课程总结进阶路径