VIP20
本课程属于：010-CUDA+TensorRT AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

CUDA图优化与TensorRT动态形状

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · CUDA图优化与TensorRT动态…
课程导入学习目标
02
CUDA基础回顾
GPU架构 · CUDA编程模型 · 内存层次结构
CUDA基础回顾
03
CUDA图优化概念
什么是CUDA图（CUDA Grap… · 图捕获与图执行 · 图优化的优势与适用场景
CUDA图优化概念
04
CUDA图捕获机制
使用Stream Capture A… · 图实例化与更新 · 图内存管理
CUDA图捕获机制
05
CUDA图优化实践
将现有代码改造为图模式 · 图与流（Stream）的交互 · 图调度与并发
CUDA图优化实践
06
CUDA图性能分析
使用Nsight Systems和N… · 识别瓶颈 · 优化策略
CUDA图性能分析
07
TensorRT基础
TensorRT简介 · 构建引擎流程 · 网络定义与配置
TensorRT简介
08
TensorRT动态形状
动态形状的概念 · 设置动态形状（优化配置文件） · 动态形状的约束与限制
TensorRT动态形状
09
TensorRT动态形状实现
使用Python API和C++ A… · 绑定输入输出 · 处理动态尺寸
TensorRT动态形状实现
10
TensorRT动态形状与CUDA图结合
将TensorRT推理集成到CUDA… · 捕获TensorRT执行 · 优化端到端延迟
TensorRTCUDA
11
案例实战
图像分类模型（ResNet）的CUD…
案例实战ResNet
12
案例实战
目标检测模型（YOLOv5）的CUD…
案例实战YOLOv5
13
案例实战
自然语言处理模型（BERT）的CUD…
案例实战BERT
14
常见问题与调试
CUDA图捕获失败 · 动态形状配置错误 · 内存不足
常见问题调试
15
性能调优进阶
多流与图并发 · 图更新与动态形状变化 · 混合精度与TensorRT优化
性能调优进阶多流
16
综合项目
构建一个支持动态形状的实时推理服务 · 结合CUDA图优化 · 实现低延迟高吞吐
综合项目构建一个支持动态…
17
课程总结与展望
回顾关键知识点 · 最佳实践 · 未来趋势（如CUDA Graphs…
课程总结回顾关键知识点
18
入门测试
基础概念选择题与简答题 · 检验对CUDA图和TensorRT动…
入门测试基础概念选择题
19
进阶测试
编写代码实现CUDA图捕获与Tens… · 并分析性能
进阶测试CUDA
20
综合测试
设计一个端到端推理系统 · 要求使用CUDA图优化和动态形状 · 并给出性能报告
综合测试设计一个端到端推…
21
扩展阅读
推荐书籍 · 论文 · 官方文档
扩展阅读推荐书籍
22
工具链使用
CUDA Toolkit · TensorRT · Nsight工具链的安装与配置
工具链使用CUDA
23
编程实践
使用CUDA C++实现简单的图捕获… · 理解底层机制
编程实践CUDA
24
编程实践
使用TensorRT Python… · 并测试不同输入尺寸
编程实践TensorRT
25
编程实践
将TensorRT引擎嵌入CUDA图 · 测量延迟与吞吐量
编程实践TensorRT
26
案例分析
分析NVIDIA官方示例（如MNIS… · SSD）中的CUDA图与动态形状用法
案例分析NVIDIA
27
性能对比
对比传统流模式与CUDA图模式 · 固定形状与动态形状的性能差异
性能对比CUDA
28
内存优化
在动态形状下管理GPU内存 · 使用内存池 · 避免碎片化
内存优化GPU
29
多模型部署
多个动态形状模型共享CUDA图与Te…
多模型部署CUDA
30
课程项目答辩
展示综合项目成果 · 回答评审问题 · 总结学习收获
课程项目答辩展示综合项目成果