第1章
分布式训练概述
为什么需要多卡训练 · 数据并行 vs 模型并行 vs 流水线并行 · 同步训练 vs 异步训练
并行策略
同步/异步
基础概念
第2章
PyTorch分布式基础
torch.distributed 包介绍 · 初始化进程组 · 后端选择 (NCCL vs Gloo vs MPI)
进程组
NCCL
Gloo
MPI
第3章
单机多卡同步训练实战
DDP 原理与代码实战 · DistributedSampler · 模型保存与加载
DDP
DistributedSampler
Checkpoint
第4章
多机多卡同步训练实战
多机通信原理 · torchrun 启动脚本 · MASTER_ADDR / PORT / WORLD_SIZE / RANK · 多机代码实战
多机通信
torchrun
环境变量
第5章
性能调优与常见问题
负载均衡 · 梯度累积 · 混合精度 (AMP) + DDP · 通信瓶颈 · 常见Bug与调试
AMP
梯度累积
调优
Debug
第6章
实战项目：ResNet-50 on CIFAR-10
完整代码 · 启动脚本 · 性能对比 (单卡 vs 多卡 DDP)
图像分类
ResNet-50
CIFAR-10
性能对比
第7章
总结与进阶
Horovod · DeepSpeed · FSDP 简介 · 未来趋势
Horovod
DeepSpeed
FSDP
前沿