第1章
分布式训练概述
为什么需要分布式训练 · 数据并行与模型并行的核心区别 · 常见并行策略概览
入门核心概念
第2章
单机多卡编程基础
CUDA编程模型回顾 · PyTorch分布式包简介 · 点对点通信与集合通信
CUDAtorch.distributed
第3章
数据并行原理
数据并行的核心思想 · 梯度同步机制(AllReduce) · 同步与异步数据并行对比
AllReduce同步
第4章
PyTorch DDP实战
DistributedDataParallel详解 · torchrun/multiprocessing · 性能调优与常见坑
DDPtorchrun
第5章
梯度累积与混合精度
梯度累积解决显存不足 · 自动混合精度(AMP) · DDP与AMP协同使用
AMP显存优化
第6章
模型并行入门
模型并行的动机 · 层内并行与层间并行 · 简单的模型切分示例
模型切分层间并行
第7章
流水线并行
GPipe与PipeDream原理 · 微批次调度 · 流水线气泡与负载均衡
GPipe微批次
第8章
张量并行
Megatron-LM 1D张量并行 · 列并行与行并行 · 通信开销分析
Megatron列并行
第9章
序列并行
针对长序列优化 · Ring Attention原理 · 序列并行实现思路
长序列Ring Attention
第10章
专家并行(MoE)
混合专家模型基础 · Top-K路由与负载均衡 · 分布式MoE训练挑战
MoE路由
第11章
ZeRO优化器
ZeRO-DP三个阶段 · ZeRO-Offload与ZeRO-Infinity · 与DDP对比
ZeRO显存优化
第12章
DeepSpeed实战
DeepSpeed引擎配置 · ZeRO Stage使用 · 梯度裁剪与优化器状态管理
DeepSpeedZeRO
第13章
FSDP
FSDP原理与ZeRO-3关系 · PyTorch FSDP API · 与DDP性能对比
FSDPZeRO-3
第14章
混合并行策略
数据并行+模型并行组合 · 3D并行(Megatron+DeepSpeed) · 动态并行调度
3D并行混合策略
第15章
通信拓扑与网络优化
NVIDIA NCCL库详解 · Ring与Tree AllReduce · 网络带宽与延迟优化
NCCLAllReduce
第16章
计算与通信重叠
异步通信与计算重叠 · 通信计算图优化 · Fusion Buffer技术
重叠Fusion Buffer
第17章
负载均衡与任务调度
静态与动态负载均衡 · 流水线并行调度策略 · 异构集群调度
调度负载均衡
第18章
显存优化技术
激活值重计算(Activation Checkpointing) · 显存碎片管理 · CPU Offloading
CheckpointingOffload
第19章
分布式数据加载
DataLoader分布式改造 · Sharding与缓存 · 高性能IO流水线
DataLoaderIO
第20章
模型保存与加载
分布式Checkpoint策略 · Megatron/DeepSpeed保存格式 · 断点续训
Checkpoint断点续训
第21章
调试与性能分析
NVIDIA Nsight Systems · PyTorch Profiler · 通信瓶颈定位
NsightProfiler
第22章
常见错误与避坑指南
NCCL超时与死锁 · 显存溢出(OOM)排查 · 版本兼容性问题
避坑NCCL
第23章
大规模语言模型训练案例
GPT/BERT分布式训练配置 · 超大规模模型经验法则
LLMGPT
第24章
多模态模型分布式训练
视觉-语言模型并行策略 · 不同模态负载差异处理
多模态VLM
第25章
强化学习分布式训练
RLHF分布式实现 · PPO算法并行化 · 推理与训练混合部署
RLHFPPO
第26章
推理阶段的模型并行
张量并行推理 · 流水线并行推理 · KV Cache优化
推理KV Cache
第27章
弹性训练与容错
弹性分布式训练框架 · 节点故障恢复 · 动态扩缩容
弹性容错
第28章
云原生分布式训练
Kubernetes与PyTorch Elastic · Volcano调度器 · 云上最佳实践
K8sVolcano
第29章
前沿趋势
专家并行新范式 · 无限注意力机制 · 超大规模集群训练挑战
前沿无限注意力
第30章
课程总结与项目实战
从零搭建分布式训练框架 · 性能调优全流程 · 未来学习路径
实战总结