VIP20

本课程属于：162-NVIDIA CUDA与TensorRT GPU加速工程 AI智能与边缘计算工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

CUDA多流并发与异步执行优化工程

共计 30 章节

可可资料掘金营 · 点击在线试看

CUDA并发执行模型总览

目标=从串行到多流并发的演进 · 硬件队列与软件流的关系 · 异步执行的价值与代价

CUDA并发执行模型总览

流与异步API核心机制

目标=cudaStream_t创建与… · cudaMemcpyAsync · 核函数启动的异步语义

事件与同步原语

目标=cudaEvent记录与等待 · 流内与跨流同步 · cudaStreamWaitEven…

事件同步原语

多流并发性能剖析工具链

目标=Nsight Systems时… · CUDA Profiler流级指标 · 识别串行化与气泡的方法

多流并发性能剖析…Nsight

流优先级与调度策略

目标=cudaStreamCreat… · 优先级对核函数与拷贝的影响 · 避免优先级反转的工程实践

流优先级调度策略

异步内存拷贝与计算重叠

目标=分块流水线设计 · 固定内存与页锁定内存 · 拷贝引擎与计算引擎的并行利用

异步内存拷贝计算重叠

多流下的核函数并发条件

目标=资源占用与SM容量 · 寄存器与共享内存限制 · 并发核函数的启动配置与验证方法

多流下的核函数并…SM

流与CUDA Graph的协同

目标=Graph捕获多流依赖 · 实例化与启动 · Graph更新与多流动态调整

多流编程中的错误处理

目标=异步错误捕获 · cudaGetLastError与c… · 流回调与错误传播策略

多流编程错误处理

多流与内存池

目标=cudaMallocAsync… · 内存复用与流间依赖 · 减少分配开销的工程模式

多流内存池

多流并发下的数据竞争与正确性

目标=流间依赖建模 · 事件链与屏障 · 避免隐式同步与未定义行为

多流并发下的数据…正确性

多流在深度学习推理中的应用

目标=多批次并发 · 多模型并行 · 动态批处理与流调度策略

多流深度学习推理

多流在科学计算中的应用

目标=区域分解与多流重叠 · 迭代求解器中的通信与计算重叠 · 多GPU流协同

多流科学计算

多流在图像与视频处理中的应用

目标=帧级流水线 · 多流解码与滤波 · 实时处理中的延迟与吞吐权衡

多流与CUDA动态并行

目标=父核与子核的流语义 · 动态并行下的并发限制 · 嵌套并发的性能陷阱

多流与NCCL通信重叠

目标=集合通信与计算流分离 · 多流下的梯度同步 · 通信与反向传播重叠实战

多流与TensorRT集成

目标=多执行上下文与流绑定 · 多流推理的批处理调度 · 端到端延迟优化

多流与CUDA IPC及多进程

目标=跨进程流共享 · IPC事件与内存 · 多进程多流协同的工程案例

多流与MPS（多进程服务）

目标=MPS下的流并发行为 · GPU资源分区 · 多流多进程的隔离与共享

多流与统一内存

目标=异步预取与流关联 · 页错误与流同步 · 统一内存下的多流性能调优

多流统一内存

多流与零拷贝内存

目标=主机内存映射与流异步 · 零拷贝的适用边界 · 多流下的带宽竞争

多流零拷贝内存

多流与CUDA图更新

目标=动态图与条件图 · 流依赖的图表达 · 图更新在多流工作负载中的实践

多流性能建模与瓶颈定位

目标=并发度与吞吐模型 · Amdahl定律与Gustafson… · 瓶颈分类与解决路径

多流性能建模瓶颈定位

多流调优实战

目标=矩阵乘法与多流分块 · 卷积与多流流水线 · 归约与多流并行

多流调优实战目标=矩阵乘法

多流调优实战

目标=多流FFT与信号处理 · 稀疏矩阵向量乘与多流 · 蒙特卡洛模拟与多流

多流调优实战FFT

多流调优实战

目标=多流排序与搜索 · 图算法与多流 · 动态规划与多流

多流调优实战目标=多流排序

多流调优实战

目标=多流视频编解码 · 多流点云处理 · 多流强化学习环境步进

多流调优实战目标=多流视频编…

多流与实时系统

目标=确定性延迟 · 流优先级与截止时间 · 实时多流调度案例

多流实时系统

多流与云GPU及虚拟化

目标=vGPU与流并发 · 容器中的流调度 · 多租户下的流隔离与QoS

多流并发工程最佳实践与未来趋势

目标=设计模式总结 · 代码审查清单 · 性能回归测试

多流并发工程最佳…未来趋势