01
GPU集群概述
GPU计算的发展历程 · 集群架构与组成 · AI训练/科学计算/图形渲染
发展史应用场景
02
CUDA编程基础回顾
编程模型 · 线程层次 Grid/Block/Thread · 内存层次 Global/Shared/Local/Register
线程内存
03
核函数（Kernel）基础
定义与声明 · <<<>>> 执行配置 · 同步与异步执行
Kernel执行配置
04
GPU集群环境搭建
NVIDIA驱动 & CUDA Toolkit · NCCL安装 · Docker & Kubernetes
环境NCCL
05
多GPU编程模型
单节点多GPU · MPI+CUDA · GPU Direct P2P & RDMA
多GPUP2P
06
NCCL通信原语
All-Reduce · All-Gather · Reduce-Scatter · Broadcast
集合通信NCCL
07
NCCL编程实战
初始化与通信域 · All-Reduce实现 · 调优参数 NCCL_ALGO/PROTO
调优通信域
08
GPU集群任务调度
Slurm作业调度 · 脚本与GPU申请 · Kubernetes+GPU Operator
SlurmK8s
09
分布式训练框架（上）
PyTorch DDP · Horovod 分布式框架
DDPHorovod
10
分布式训练框架（下）
DeepSpeed ZeRO (Stage1/2/3) · Megatron-LM 模型并行
ZeROMegatron
11
核函数性能分析工具
Nsight Systems · Nsight Compute · nvprof/nvvp
ProfilingNsight
12
核函数优化基础
合并访问 · Bank Conflict · 循环展开与指令级并行
访存ILP
13
共享内存优化
声明与使用 · 动态共享内存 · 协同全局内存
Shared动态
14
寄存器与本地内存优化
Register Spill检测 · 本地内存访问代价
寄存器Spill
15
Warp级别优化
Warp Divergence避免 · __shfl_sync 指令
WarpShuffle
16
原子操作与锁
atomicAdd · GPU锁实现 · 无锁编程思想
原子锁
17
流（Stream）与并发执行
CUDA Stream · 同步 · Kernel与数据传输重叠
Stream并发
18
异步数据传输
Pinned Memory · Zero-Copy · 异步传输与回调
Pinned异步
19
CUDA Graphs
概念与优势 · 创建与实例化 · 更新与重放
Graph重放
20
GPU集群网络优化
InfiniBand vs RoCEv2 · 拓扑感知 · GDR配置
网络GDR
21
混合精度训练
FP16/BF16 · Tensor Cores · 自动混合精度AMP
混合精度AMP
22
模型并行策略
张量并行 · 流水线并行 · 序列并行
模型并行PP
23
数据加载与预处理优化
DALI加速 · GPU数据增强
DALI数据流水线
24
GPU集群监控与运维
nvidia-smi · DCGM · Prometheus+Grafana
监控DCGM
25
故障排查与容错
CUDA错误(Error2/77) · NCCL超时 · Checkpoint恢复
容错Checkpoint
26
性能基准测试
NCCL Benchmarks · MLPerf · 自定义微基准
基准MLPerf
27
案例实战1：ResNet-50 DDP
基于PyTorch DDP的ResNet-50分布式训练与调优
ResNetDDP
28
案例实战2：GPT-2 DeepSpeed
DeepSpeed ZeRO优化GPT-2训练
GPT-2ZeRO
29
案例实战3：All-Reduce调优
多节点NCCL All-Reduce性能调优
All-Reduce调优
30
课程总结与未来展望
NVLink · CXL · DPU · 持续学习资源
趋势资源