01
CUDA多卡编程基础
GPU拓扑结构认知 · 多卡通信模式概览 · NVIDIA-SMI与nvidia-smi topo -m命令详解
拓扑SMI入门
02
CUDA Stream与多流并发
Stream概念 · 默认流与非阻塞流 · 多流并发执行模式 · Stream回调函数
并发Stream回调
03
CUDA事件与同步机制
事件创建与销毁 · 事件计时 · cudaDeviceSynchronize与cudaStreamSynchronize · 跨流同步
事件同步计时
04
点对点通信（P2P）
P2P访问与传输 · cudaDeviceEnablePeerAccess · P2P带宽测试 · NVLink与PCIe对比
P2PNVLink带宽
05
NCCL基础入门
NCCL安装与配置 · 通信模式(AllReduce/AllGather/Broadcast) · NCCL Group与通信器
NCCL集合通信Group
06
NCCL高级调优
环境变量详解(NCCL_ALGO/PROTO/NET) · 拓扑感知通信 · NCCL性能Profiling
调优环境变量Profile
07
CUDA-Aware MPI
MPI与CUDA集成 · GPU Direct RDMA · MPI_Sendrecv与GPU缓冲区 · MPI+OpenMPI+CUDA混合编程
MPIRDMA混合编程
08
多卡内存模型
统一虚拟寻址(UVA) · 统一内存(UM)多卡场景 · cudaMemcpyPeer与cudaMemcpyDefault · 内存池管理
UVAUM内存池
09
多卡Kernel Launch
多卡同时Launch Kernel · MPS原理与配置 · CUDA Context管理
MPSContext并发
10
多卡同步屏障
自定义屏障实现 · 基于原子操作/NCCL的全局同步 · 同步开销分析
屏障原子操作同步
11
多卡数据并行
数据并行模式 · 梯度同步(同步/异步) · AllReduce梯度聚合 · 环状AllReduce算法
数据并行AllReduce环状
12
多卡模型并行
模型并行模式 · 张量并行与流水线并行 · 层间通信优化 · 1F1B调度策略
模型并行张量并行1F1B
13
多卡流水线并行
GPipe与PipeDream · 微批次划分 · 梯度累积 · 负载均衡策略
流水线GPipe梯度累积
14
多卡通信拓扑优化
环形/树形/双环拓扑 · 拓扑感知的任务映射
拓扑环形映射
15
多卡带宽优化
NVLink带宽利用 · PCIe带宽瓶颈 · 通信与计算重叠 · 带宽测量工具
带宽NVLink重叠
16
多卡延迟优化
延迟隐藏技术 · 异步操作链 · 预取与预加载 · 小消息聚合
延迟预取聚合
17
多卡Profiling工具
Nsight Systems/Compute多卡分析 · NCCL Profiling · 自定义Profiling
NsightProfilingNCCL
18
多卡调试技巧
CUDA-GDB多进程调试 · cuda-memcheck多卡检查 · 同步错误定位 · 死锁检测
调试GDB死锁
19
多卡错误处理
CUDA/NCCL错误处理 · 超时与重试机制 · 优雅降级策略
错误处理重试降级
20
多卡负载均衡
静态/动态负载均衡 · 任务窃取 · 负载不均检测与调整
负载均衡任务窃取动态
21
多卡与多节点通信
节点内/间通信差异 · InfiniBand与RoCE · 多节点AllReduce优化 · 跨节点同步
多节点InfiniBandRoCE
22
多卡与分布式训练框架
PyTorch DDP · Horovod · DeepSpeed · Megatron-LM多卡策略
DDPHorovodDeepSpeed
23
多卡与混合精度训练
FP16/BF16多卡同步 · 梯度缩放 · Loss Scaling多卡 · AMP与NCCL配合
混合精度AMPFP16
24
多卡与稀疏通信
稀疏梯度通信 · Top-K稀疏化 · 梯度压缩 · 通信量减少策略
稀疏压缩Top-K
25
多卡与异步执行
异步Kernel Launch · 异步数据传输 · 异步同步 · 回调与事件驱动
异步回调事件驱动
26
多卡与持久化线程
持久化线程模型 · 多卡持久化Kernel · 线程协作与同步 · 应用场景
持久化线程协作Kernel
27
多卡与CUDA Graphs
Graph捕获与重放 · 多卡Graph并行 · Graph与Stream结合 · 性能优化
CUDA Graphs重放优化
28
多卡与动态并行
动态并行在多卡场景 · 子网格启动 · 递归并行 · 动态并行限制
动态并行子网格递归
29
多卡性能调优案例
ResNet-50/BERT/GPT多卡调优 · 实际调优经验总结
案例ResNetBERT
30
多卡最佳实践与总结
设计模式 · 常见陷阱 · 性能checklist · 未来趋势(NVLink4/5, CXL, 异构计算)
最佳实践趋势CXL