VIP20

本课程属于：004-TensorCore优化 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

计算与通信重叠技巧实战课程

📚 共计 30 章节

计算与通信重叠概述

什么是计算与通信重叠 · 为什么需要重叠 · 核心挑战与收益分析

GPU架构概览 · NVLink与PCIe总线 · 内存层次结构与带宽特性

CUDA流（Stream）基础

CUDA流的概念 · 默认流与非默认流 · 流的创建与销毁

异步操作与事件

CUDA异步API · CUDA事件机制 · 事件同步与计时

单流重叠技术

在单个流中实现计算与通信重叠 · 内核启动与数据传输的流水线

流水线单流

多流并发执行 · 流之间的依赖关系 · 虚假依赖与避免方法

双缓冲技术

双缓冲原理 · Host端与Device端双缓冲实现 · 性能对比分析

双缓冲优化

流水线技术

深度流水线设计 · 流水线阶段划分 · 气泡分析与消除

流水线气泡

异步数据预取

cudaMemPrefetchAsync · 统一内存与预取 · 手动预取策略

点对点通信

P2P通信基础 · P2P访问与传输 · 多GPU直接通信

NCCL库介绍 · NCCL通信原语 · NCCL与CUDA流集成

NCCL高级用法

NCCL分组与拓扑感知 · NCCL内核融合 · 性能调优参数

MPI+CUDA混合编程

MPI基础回顾 · MPI与CUDA流协同 · 异步MPI通信

重叠模式一：计算与Host-Device传输重叠

分块传输策略 · 带宽利用率优化

Host-Device分块

重叠模式二：计算与Device-Device传输重叠

多GPU间数据交换 · 环形流水线

Device-Device环形

重叠模式三：计算与NCCL通信重叠

AllReduce与计算重叠 · 梯度通信隐藏

NCCL梯度隐藏

重叠模式四：计算与MPI通信重叠

分布式训练中的通信隐藏 · 异步梯度同步

重叠模式五：计算与I/O重叠

异步文件读取 · 数据加载流水线

重叠模式六：计算与预处理重叠

数据增强与计算并行 · CPU-GPU协同

预处理协同

重叠模式七：多级流水线重叠

三级流水线（I/O-预处理-计算） · 端到端延迟分析

重叠模式八：动态负载均衡重叠

任务窃取与通信重叠 · 自适应调度策略

负载均衡窃取

重叠模式九：稀疏计算与通信重叠

稀疏矩阵乘法与通信隐藏 · 稀疏梯度通信

重叠模式十：混合精度训练中的重叠

FP16/BF16计算与通信 · 梯度缩放与重叠

混合精度FP16

性能分析工具

NVIDIA Nsight Systems · Nsight Compute · 自定义Profiling

NsightProfiling

性能指标与瓶颈定位

吞吐量 · 延迟 · 占用率 · CCR · Roofline模型

常见陷阱与调试

死锁与活锁 · 内存泄漏 · 过度同步 · 虚假共享

案例一：单GPU数据加载流水线

从磁盘到GPU的完整流水线实现 · 性能对比

案例流水线

案例二：多GPU AllReduce重叠

基于NCCL的梯度通信隐藏 · 分布式训练加速

AllReduce多GPU

案例三：大规模分布式训练重叠

跨节点通信与计算重叠 · 集群级优化策略

分布式集群

课程总结与未来展望

关键技术回顾 · 新兴趋势（DPU、CXL、SmartNIC）· 学习路径建议