01
分布式系统概述
什么是分布式计算、为什么需要分布式、分布式系统的挑战与机遇。
概念入门
02
单卡训练的瓶颈
显存墙、计算墙、通信墙，以及单卡时代的无奈。
显存瓶颈
03
并行计算基础
任务并行、数据并行、模型并行，三种模式的本质区别。
并行模式
04
数据并行原理
从单卡到多卡，数据切分与梯度同步的核心思想。
数据并行梯度
05
同步与异步
同步SGD、异步SGD、半同步，三种梯度更新策略的优劣。
SGD策略
06
AllReduce算法
Ring AllReduce、Tree AllReduce，通信效率的数学原理。
通信算法
07
NCCL库入门
NVIDIA Collective Communication Library，多卡通信的基石。
NCCLGPU
08
PyTorch DDP实战
DistributedDataParallel的配置、启动与调试。
PyTorchDDP
09
模型并行基础
层内切分与层间切分，大模型装不下的解决方案。
模型并行切分
10
流水线并行
GPipe与PipeDream，让不同卡干不同活。
流水线GPipe
11
张量并行
Megatron-LM的1D切分，把矩阵拆开算。
张量Megatron
12
混合并行
数据并行+模型并行+流水线并行，三管齐下的艺术。
混合并行
13
分布式训练框架概览
Horovod、DeepSpeed、ColossalAI，选哪个？
框架对比
14
DeepSpeed ZeRO
ZeRO-1、ZeRO-2、ZeRO-3，显存优化的三把刀。
ZeRO显存
15
ZeRO-Offload
把优化器状态扔给CPU，GPU只做计算。
OffloadCPU
16
梯度累积
小batch模拟大batch，显存不够时的骚操作。
梯度累积Batch
17
混合精度训练
FP16与BF16，速度翻倍的秘密。
FP16BF16
18
分布式数据加载
DataLoader的分布式改造，别让IO拖后腿。
DataLoaderIO
19
通信拓扑优化
树形、环形、双环形，网络拓扑怎么选。
拓扑网络
20
网络带宽与延迟
IB vs Ethernet，RDMA vs TCP，硬件的选择。
带宽IB
21
分布式调试技巧
日志、断点、NCCL报错，遇到问题怎么办。
调试NCCL
22
性能分析工具
Nsight Systems、PyTorch Profiler，找到瓶颈在哪。
ProfilerNsight
23
容错与弹性训练
节点挂了怎么办，checkpoint与restart。
容错Checkpoint
24
分布式推理
多卡推理的挑战，吞吐与延迟的平衡。
推理吞吐
25
大模型分布式训练案例
GPT、LLaMA的分布式方案拆解。
GPTLLaMA
26
多机多卡配置
SSH、MPI、Slurm，集群环境搭建。
集群Slurm
27
容器化分布式训练
Docker + Kubernetes，一键拉起分布式任务。
DockerK8s
28
分布式训练成本分析
算力、带宽、存储，钱花在哪最值。
成本算力
29
未来趋势
超大规模、异构计算、无服务器分布式。
趋势异构
30
课程总结与实战项目
从零搭建一个分布式训练系统。
实战总结