VIP9
本课程属于：123-TensorRT边缘GPU推理优化 AI智能与边缘计算工程 · 共 9 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

12. TensorRT多流并发：CUDA Stream和异步推理设计

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
多流并发的价值 · 应用场景（实时推理 · 多路视频
课程导入多流并发的价值
02
CUDA基础回顾
GPU执行模型 · 线程层次 · 内存层次
CUDA基础回顾
03
CUDA Stream核心概念
什么是Stream · Stream与默认流 · Stream的创建与销毁
CUDAStream
04
异步推理基础
TensorRT中的同步推理与异步推… · 异步执行流程
异步推理基础TensorRT
05
TensorRT执行上下文（ExecutionContext）
上下文的作用 · 多上下文与多流的关系 · 上下文的内存管理
TensorRTExecutionCon…
06
多流并发设计模式
单引擎多流 · 多引擎多流 · 流与上下文绑定策略
多流并发设计模式单引擎多流
07
Stream与事件（Event）
事件创建 · 记录 · 等待
StreamEvent
08
多流并发中的内存管理
显存池 · 临时缓冲区 · 输入输出张量在多个流中的安全复用
多流并发内存管理
09
数据拷贝与计算重叠
H2D拷贝 · kernel执行 · D2H拷贝如何在不同流中重叠
数据拷贝计算重叠
10
多流调度与硬件资源
SM占用率 · 并发kernel限制 · 如何评估流数量与硬件匹配
多流调度硬件资源
11
实战案例1
单引擎多流处理多路视频流 · 实现多路并行推理
实战案例1单引擎多流处理多…
12
实战案例2
多引擎多流处理异构模型（如检测+分类… · 流间依赖与事件同步
实战案例2多引擎多流处理异…
13
实战案例3
异步推理与数据预处理流水线（解码 · 缩放 · 归一化）重叠
实战案例3异步推理
14
性能分析工具
Nsight Systems · Nsight Compute · TensorRT Profiler
性能分析工具Nsight
15
常见问题1
流同步错误导致数据竞争 · 如何检测和避免
常见问题1流同步错误导致数…
16
常见问题2
多流并发时显存不足 · 如何优化内存复用和池化
常见问题2多流并发时显存不…
17
常见问题3
CPU与GPU负载不均衡 · 如何调整流数量和任务分配
常见问题3CPU
18
高级技巧
使用CUDA Graphs与多流结合 · 减少kernel启动开销
高级技巧CUDA
19
高级技巧
动态形状（Dynamic Shape…
高级技巧Dynamic
20
高级技巧
多流与多线程结合 · CPU线程池管理多个推理请求
高级技巧多流
21
多流并发中的安全与稳定性
错误处理 · 超时机制 · 资源清理
多流并发安全
22
多流并发在TensorRT 8/9/10中的差异
API变化 · 新特性（如Stream Ordere…
TensorRT多流并发
23
多流并发与推理服务框架集成
Triton Inference S…
多流并发推理服务框架集成
24
多流并发在边缘设备上的实践
Jetson平台 · 低功耗约束下的流数量选择
多流并发边缘设备上的实践
25
多流并发在数据中心GPU上的实践
A100/H100多实例GPU（MI…
GPU多流并发
26
性能调优方法论
从单流到多流的性能评估指标（吞吐 · 延迟 · 延迟抖动）
性能调优方法论从单流到多流的性…
27
综合实战
构建一个支持多路请求的异步推理服务 · 包含预处理 · 推理
综合实战构建一个支持多路…
28
综合实战
多流并发与模型批处理（Batch）的… · 何时选择哪种策略
综合实战Batch
29
综合实战
多流并发中的动态批处理（Dynami… · 提升GPU利用率
综合实战Dynami
30
课程总结与进阶方向
多流并发最佳实践总结 · 常见误区 · 未来趋势（如CUDA Graphs
课程总结进阶方向