01
分布式训练基础
为什么需要多卡训练？单卡瓶颈与多卡优势，常见的并行策略概览（数据并行、模型并行、流水线并行）。
并行概览入门
02
硬件环境与网络拓扑
GPU型号选择（A100 vs V100 vs 4090），NVLink与NVSwitch的作用，InfiniBand与以太网的对比。
硬件网络
03
数据并行原理
AllReduce通信原语，Ring AllReduce与Tree AllReduce的对比，梯度同步的数学本质。
通信AllReduce
04
PyTorch DDP入门
DistributedDataParallel的基本用法，初始化进程组（NCCL/GLOO后端），launch命令详解。
DDPPyTorch
05
DDP源码浅析
DDP的钩子机制，梯度归约的触发时机，参数同步的生命周期。
源码机制
06
Batch Size与学习率调谐
线性缩放法则，Warmup策略，学习率与Batch Size的匹配关系。
超参调优
07
梯度累积技术
为什么需要梯度累积？accumulation_steps的设置，与DDP的兼容性。
梯度累积
08
混合精度训练（AMP）
FP16与BF16的原理，Loss Scaling机制，AMP在DDP中的使用。
AMP精度
09
ZeRO优化器
ZeRO Stage 1/2/3的原理，显存节省分析，DeepSpeed的ZeRO实现。
ZeRO显存
10
模型并行（Tensor Parallelism）
Megatron-LM的1D切分，ColumnParallel与RowParallel，通信开销分析。
张量并行Megatron
11
流水线并行（Pipeline Parallelism）
GPipe与PipeDream，微批次（Micro-batch）调度，气泡率计算。
流水线调度
12
3D并行策略
数据并行+模型并行+流水线并行的组合，显存与通信的权衡，实际案例（训练）。
3D并行
13
数据加载优化
DataLoader的num_workers设置，内存映射（mmap）文件，分布式采样器（DistributedSampler）。
IODataLoader
14
IO瓶颈与解决方案
NVMe vs SSD，数据预处理流水线，WebDataset与Mosaic StreamingDataset。
存储流式
15
通信优化
梯度压缩（Gradient Compression），梯度量化，稀疏通信（TopK Sparsification）。
压缩稀疏
16
异步执行与重叠
计算与通信重叠，Forward-Backward异步，Async-SGD的原理。
异步重叠
17
Profiling工具
PyTorch Profiler的使用，NVIDIA Nsight Systems，Nsight Compute的解读。
性能分析Nsight
18
性能指标分析
吞吐量（Samples/sec）、MFU（Model FLOPS Utilization）、显存带宽利用率。
指标MFU
19
常见瓶颈诊断
CPU Bound、GPU Bound、通信Bound、IO Bound的识别方法。
诊断瓶颈
20
显存优化技巧
Activation Checkpointing（梯度检查点），显存碎片整理，Tensor并行减少显存。
显存Checkpoint
21
分布式训练框架对比
PyTorch DDP vs DeepSpeed vs Horovod vs JAX，各自的适用场景。
框架对比
22
DeepSpeed实战
DeepSpeed配置文件的编写，ZeRO-3与Offload的使用，混合精度与梯度裁剪。
DeepSpeedZeRO-3
23
Megatron-LM实战
模型并行配置，序列并行，分布式优化器。
Megatron序列并行
24
ColossalAI实战
Shardformer的使用，2D/2.5D/3D张量并行，自动并行搜索。
ColossalAI自动并行
25
容错与恢复
训练中断的常见原因，Checkpoint保存策略，Elastic Training（弹性训练）。
容错弹性
26
多节点训练
跨节点通信配置，RDMA与RoCE，节点间带宽优化。
多节点RDMA
27
超参数自动调优
分布式超参搜索（Ray Tune），学习率与Batch Size的协同搜索。
自动调优Ray
28
大规模训练案例
LLaMA-65B训练复盘，训练配置，Bloom-176B的经验教训。
案例LLaMA
29
性能调优方法论
Amdahl定律在分布式训练中的应用，Roofline模型分析，迭代式优化流程。
方法论Roofline
30
未来趋势
GPU Direct Storage，NVLink 5.0，CXL互连，异构计算（CPU+GPU+NPU）的挑战。
前沿异构