01
课程导论与全景概览
课程目标、学习路径、GPU并行计算与分布式通信核心概念，CUDA与NCCL的关系。
概览入门
02
GPU架构与CUDA编程模型
SM、Warp、Memory Hierarchy，Grid/Block/Thread，Kernel Launch机制。
架构线程
03
CUDA内存管理与优化
全局/共享/常量/纹理/寄存器，内存合并，Bank Conflict避免。
内存带宽
04
CUDA流与并发执行
Stream概念、默认/非默认流、同步、优先级，Kernel与数据传输重叠。
并发Stream
05
CUDA原子操作与同步
AtomicAdd、__syncthreads、Cooperative Groups、Warp Shuffle。
原子同步
06
CUDA性能分析与Profiling
Nsight Systems/Compute，Compute/Memory Bound，Occupancy分析。
性能Profiling
07
NCCL基础与安装
NCCL简介、AllReduce/AllGather，安装配置，与MPI对比。
NCCL安装
08
NCCL通信模式与拓扑感知
Ring/Tree算法，NVLink/PCIe拓扑，NCCL_TOPO_DUMP_FILE。
拓扑算法
09
NCCL集合通信操作详解
AllReduce/AllGather/ReduceScatter/Broadcast等API与语义。
集合通信API
10
NCCL通信器初始化与Group
ncclCommInitAll、ncclCommSplit、通信器Group概念与使用。
初始化Group
11
NCCL与CUDA Stream的集成
NCCL操作绑定Stream、异步执行、同步策略、避免死锁。
Stream集成
12
NCCL性能调优参数
NCCL_ALGO、PROTO、NTHREADS、IB_DISABLE、GDR_LEVEL等。
调优环境变量
13
多节点NCCL通信
InfiniBand/RoCE配置，GPUDirect RDMA原理，多节点拓扑优化。
多节点RDMA
14
NCCL错误处理与调试
错误码、ncclGetErrorString、NCCL_DEBUG=INFO/WARN/TRACE。
调试错误
15
联合编程实战（一）：单节点AllReduce
单机8卡AllReduce实现，完整CUDA+NCCL程序。
实战单节点
16
联合编程实战（二）：多节点AllReduce
多节点扩展，SSH与NCCL环境，分布式AllReduce程序。
实战多节点
17
联合编程实战（三）：自定义Kernel+NCCL
自定义CUDA Kernel局部归约，NCCL全局归约。
Kernel自定义
18
联合编程实战（四）：Pipeline并行通信优化
Pipeline并行场景，P2P与Collective混合优化。
Pipeline并行
19
联合编程实战（五）：数据并行AllReduce优化
DDP场景梯度AllReduce，梯度压缩与计算通信重叠。
DDP梯度压缩
20
联合编程实战（六）：模型并行通信优化
Tensor/Sequence并行，AllGather与ReduceScatter优化。
模型并行AllGather
21
联合编程实战（七）：异步通信与计算重叠
CUDA Events和Stream实现通信计算重叠，提升吞吐。
异步重叠
22
联合编程实战（八）：NCCL Group与多流并发
Group实现多独立通信并发，多模型训练优化。
Group多流
23
联合编程实战（九）：动态拓扑与容错
节点动态加入/退出，通信器重建，简单容错机制。
容错动态
24
联合编程实战（十）：混合精度训练通信优化
FP16/BF16混合精度，NCCL数据类型与带宽利用。
混合精度FP16
25
CUDA Kernel优化进阶
Warp Shuffle、Tensor Core、Int8/FP8计算，高效数据变换。
Tensor CoreWarp
26
NCCL与分布式框架集成
PyTorch DDP/FSDP、DeepSpeed、Megatron-LM底层集成与调优。
框架PyTorch
27
大规模集群NCCL调优案例
千卡/万卡集群，网络拥塞控制，拓扑感知调度。
大规模调优
28
NCCL新特性与未来趋势
NCCL 2.20+ Sharp、Fast Socket、Net Plugin，NVLink 5.0。
新特性未来
29
综合实战项目（一）：AllReduce Benchmark
自定义数据大小、GPU数、节点数、算法，输出带宽与延迟。
Benchmark工具
30
综合实战项目（二）：端到端分布式训练调优
模型定义、数据加载、Kernel优化到NCCL通信，完整调优报告。
端到端调优报告