01
GPU集群概述
为什么需要多卡同步？分布式训练的基本概念，同步与异步的区别。
概念入门
02
硬件拓扑与通信架构
NVLink、PCIe、InfiniBand的区别，GPU间通信拓扑（Ring、Tree、All-to-All）。
硬件拓扑
03
NCCL基础
NCCL的安装与配置，NCCL的通信原语（AllReduce、AllGather、ReduceScatter）。
NCCL通信
04
AllReduce算法详解
Ring AllReduce原理，Tree AllReduce原理，性能对比与选择。
算法性能
05
同步训练模式
数据并行（Data Parallelism）原理，梯度同步机制，同步屏障（Barrier）的实现。
同步数据并行
06
异步训练模式
异步梯度更新，异步与同步的收敛性对比，异步训练的适用场景。
异步收敛
07
混合精度训练与同步
FP16与BF16对同步的影响，梯度缩放（Gradient Scaling），Loss Scaling策略。
混合精度FP16
08
梯度累积技术
梯度累积的原理，如何与同步结合，梯度累积步数的选择。
梯度累积优化
09
负载均衡基础
数据分片策略，静态负载均衡 vs 动态负载均衡，负载不均的常见原因。
负载均衡分片
10
数据并行中的负载均衡
样本长度不均（NLP场景），图像尺寸不均（CV场景），动态填充与桶策略。
NLPCV填充
11
模型并行中的负载均衡
张量并行（Tensor Parallelism），流水线并行（Pipeline Parallelism），切分策略。
模型并行张量
12
流水线并行与负载均衡
1F1B调度策略，虚拟流水线，负载不均导致的Bubble问题。
流水线Bubble
13
ZeRO优化器与负载均衡
ZeRO Stage 1/2/3原理，显存负载均衡，通信开销分析。
ZeRO显存
14
动态负载均衡算法
基于历史数据的动态调整，在线负载监控，重分片策略。
动态重分片
15
通信与计算重叠
通信隐藏技术，异步通信与计算流水线，Overlap策略的实现。
Overlap性能
16
同步开销分析
同步等待时间，通信带宽利用率，同步频率对训练效率的影响。
开销带宽
17
多机多卡同步
跨节点同步的挑战，参数服务器架构，Ring AllReduce跨节点实现。
多机跨节点
18
容错与同步
节点故障对同步的影响，检查点（Checkpoint）机制，弹性训练（Elastic Training）。
容错Checkpoint
19
性能调优工具
NVIDIA Nsight Systems，NCCL日志分析，torch.profiler使用。
调优Nsight
20
同步策略选择
何时用同步？何时用异步？混合策略（Hybrid Parallelism）的设计。
策略混合
21
PyTorch DDP实战
DistributedDataParallel原理，初始化与使用，常见踩坑点。
DDPPyTorch
22
PyTorch FSDP实战
Fully Sharded Data Parallel配置，与DDP的对比，显存优化效果。
FSDP显存
23
Horovod框架实战
Horovod的安装与使用，与PyTorch/TensorFlow的集成，性能调优。
Horovod集成
24
DeepSpeed框架实战
DeepSpeed引擎配置，ZeRO与流水线并行结合，负载均衡策略。
DeepSpeedZeRO
25
Megatron-LM实战
张量并行与流水线并行配置，模型切分策略，大规模训练案例。
Megatron大规模
26
负载均衡监控与可视化
Prometheus + Grafana监控GPU利用率，自定义负载指标，告警策略。
监控Grafana
27
大规模训练案例1
GPT-3/LLaMA训练中的同步与负载均衡，经验总结。
GPT-3LLaMA
28
大规模训练案例2
多模态模型训练中的异构负载均衡，跨模态数据对齐。
多模态异构
29
未来趋势
异构计算（CPU+GPU+NPU）的同步，新型互联技术（CXL、NVLink 5），自动化负载均衡。
趋势CXL
30
综合实战项目
从零搭建一个8卡同步训练系统，包含负载均衡、监控、容错，完整代码与部署。
实战8卡全栈