第1章
分布式训练概述
为什么需要分布式训练 · 核心挑战：通信瓶颈、同步开销、容错性 · 主流框架对比 (PyTorch DDP vs DeepSpeed vs Megatron-LM)
入门框架对比
第2章
单机多卡训练基础
CUDA编程模型回顾 · DataParallel原理与局限 · DDP原理 · 启动方式 (torchrun vs mp.spawn)
DDPCUDA
第3章
数据并行 (Data Parallelism)
核心思想 · AllReduce梯度同步 · 梯度累积 · 学习率调整 (Linear Scaling Rule)
AllReduce梯度累积
第4章
模型并行 (Model Parallelism)
显存不足动机 · 朴素模型并行 · 流水线并行 GPipe / PipeDream
流水线GPipe
第5章
张量并行 (Tensor Parallelism)
列切分与行切分 · Megatron-LM 1D张量并行 · 序列并行 · 2D/3D简介
Megatron切分
第6章
混合并行策略
3D并行 (数据+张量+流水线) · ZeRO-1/2/3 · ZeRO与张量并行 · DeepSpeed ZeRO++
ZeRO3D并行
第7章
通信优化基础
NCCL详解 · 通信算子 (AllReduce/AllGather/ReduceScatter) · Ring vs Tree vs DoubleTree · 带宽与延迟
NCCL拓扑
第8章
通信计算重叠 (Overlap)
异步通信与计算重叠 · DDP梯度桶 · 调度策略 · torch.distributed.barrier实战
异步Bucket
第9章
梯度压缩与量化
Top-K稀疏化 · QSGD · 1-bit SGD / SignSGD · DeepSpeed梯度压缩实现
压缩量化
第10章
混合精度训练 (AMP)
FP16/BF16原理 · Loss Scaling · PyTorch GradScaler · 对分布式训练的影响
AMPBF16
第11章
数据加载优化
DataLoader瓶颈 · 多进程 num_workers · DistributedSampler · mmap与缓存策略
DataLoader采样
第12章
检查点 (Checkpoint) 策略
全量 vs 增量 · torch.save局限 · DeepSpeed ZeRO检查点 · 异步写入
容错ZeRO
第13章
容错与弹性训练
节点宕机/网络闪断 · torch.distributed.elastic · DeepSpeed弹性 · 恢复机制
弹性容错
第14章
日志与监控
JSON结构化日志 · Loss/吞吐量/GPU利用率 · WandB/TensorBoard · 自定义监控
监控WandB
第15章
性能分析与调优
PyTorch Profiler · Nsight Systems · 计算/通信分解 · TFLOPs利用率
Profiler调优
第16章
大规模训练中的数值稳定性
Loss/梯度爆炸 · 梯度裁剪 · 混合精度溢出 · BF16优势与局限
稳定性裁剪
第17章
模型并行中的负载均衡
Pipeline Bubble · 均匀/非均匀切分 · 1F1B调度 · Virtual Pipeline
负载均衡1F1B
第18章
序列并行与长上下文训练
长序列显存爆炸 · Ring Attention · Flash Attention+分布式 · LLM应用
长上下文Ring Attention
第19章
专家并行 (MoE)
混合专家模型 · Expert Parallelism · Top-K门控 · DeepSpeed-MoE实战
MoE门控
第20章
数据并行中的显存优化
激活重计算 · CPU Offload (ZeRO-Offload) · NVLink/NVSwitch · 显存碎片整理
显存Offload
第21章
分布式训练中的超参数调优
学习率与Batch Size · 余弦退火 · Warmup · Ray Tune分布式搜索
超参数Ray Tune
第22章
多节点训练网络配置
InfiniBand vs RoCE vs Ethernet · Fat-Tree/Dragonfly · RDMA/GPUDirect · 带宽计算
网络InfiniBand
第23章
容器化与编排
Docker (CUDA+PyTorch) · Kubernetes (Volcano/Kubeflow) · 弹性调度 · 资源配额
K8sDocker
第24章
云上分布式训练实践
AWS SageMaker · GCP AI Platform · 阿里云PAI · Spot实例 · 云上存储 (EFS/Lustre)
云平台Spot
第25章
大语言模型 (LLM) 训练实战
GPT/Llama回顾 · Tokenization · 训练配置 (Batch Size/序列长度) · 稳定性
LLMGPT
第26章
多模态模型训练实战
CLIP/BLIP-2 · 视觉/文本编码器分布式差异 · 对比学习负样本采样
多模态CLIP
第27章
强化学习与分布式训练
PPO分布式实现 · Actor-Critic分布式 · RLHF奖励模型 · 推理训练混合部署
RLHFPPO
第28章
推理阶段的分布式技术
张量并行推理 (vLLM) · 流水线并行推理 · KV Cache管理 · Continuous Batching
推理vLLM
第29章
分布式训练的成本优化
GPU小时计算 · 通信/计算成本权衡 · Spot容错 · 优先级调度
成本Spot
第30章
未来趋势与前沿
万卡集群 · 异构计算 (CPU+GPU+NPU) · 自动并行 · 联邦学习与隐私计算
前沿自动并行