VIP8
本课程属于：017-CUDA与TensorRT推理优化工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

CUDA TensorRT多流并发实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 环境准备（CUDA
课程导入学习目标
02
CUDA编程基础
线程层次 · 内存模型 · 核函数编写与编译
CUDA编程基础
03
CUDA流与事件
流的概念 · 创建与同步 · 事件计时与同步
CUDA事件
04
多流并发原理
GPU硬件资源 · 并发执行条件 · 流调度机制
多流并发原理GPU
05
多流并发实现
多流创建 · 核函数分配 · 流间同步与依赖
多流并发实现多流创建
06
TensorRT基础
模型解析 · 网络定义 · 构建器与引擎生成
TensorRT模型解析
07
TensorRT执行上下文
上下文创建 · 输入输出绑定 · 内存管理
TensorRT执行上下文
08
TensorRT多流执行
多上下文管理 · 流内执行 · 流间同步
TensorRT多流执行
09
多流性能分析
NVIDIA Nsight Syst… · Nsight Compute · 性能指标解读
多流性能分析NVIDIA
10
多流优化策略
调整流数量 · 任务划分 · 内存复用与池化
多流优化策略调整流数量
11
案例实战
图像分类模型的多流推理（ResNet…
案例实战ResNet
12
案例实战
目标检测模型的多流推理（YOLOv5…
案例实战YOLOv5
13
案例实战
自然语言处理模型的多流推理（BERT…
案例实战BERT
14
多流与多线程结合
CPU线程与GPU流映射 · 线程安全与同步
多流多线程结合
15
多流与多GPU扩展
多GPU环境下的流管理 · 负载均衡
GPU多流
16
常见问题与调试
数据竞争 · 死锁 · 资源耗尽
常见问题调试
17
性能调优进阶
CUDA Graphs与多流结合 · 动态形状处理
性能调优进阶CUDA
18
综合项目
构建一个多流并发推理服务（C++/P…
综合项目C++/P
19
课程总结
知识回顾 · 最佳实践 · 学习路径建议
课程总结知识回顾
20
实战项目
多流并发视频流处理（解码-推理-编码…
实战项目多流并发视频流处…
21
实战项目
多流并发点云处理（PointNet+…
实战项目PointNet+
22
实战项目
多流并发推荐系统（DeepFM）
实战项目DeepFM
23
实战项目
多流并发语音识别（RNN-T）
实战项目RNN-T
24
实战项目
多流并发强化学习（PPO）
实战项目PPO
25
实战项目
多流并发生成对抗网络（StyleGA…
实战项目StyleGA
26
实战项目
多流并发Transformer推理（…
实战项目Transformer
27
实战项目
多流并发医学图像分割（U-Net）
实战项目U-Net
28
实战项目
多流并发自动驾驶感知（多传感器融合）
实战项目多流并发自动驾驶…
29
实战项目
多流并发高性能计算（矩阵乘法 · FFT）
实战项目多流并发高性能计…
30
综合提升
多流并发架构设计 · 性能评估与优化 · 前沿趋势
综合提升多流并发架构设计