01
分布式训练概述
为什么需要分布式训练 · 发展历程 · 核心挑战与解决思路
基础概念
02
并行策略基础
数据并行 · 模型并行 · 流水线并行概念与对比
并行对比
03
数据并行详解
All-Reduce原理 · Ring/Tree All-Reduce · 梯度同步策略
通信梯度
04
模型并行详解
层内模型并行 · 张量并行 · 序列并行
切分张量
05
流水线并行详解
GPipe · PipeDream · 1F1B调度策略
调度吞吐
06
混合并行策略
3D并行（数据+张量+流水线）· 自动并行搜索
3D自动
07
通信原语与集合通信
NCCL基础 · Broadcast/Scatter/Gather/Reduce/AllReduce
NCCL原语
08
通信拓扑与优化
环形/树形/双树拓扑 · 通信计算重叠
拓扑重叠
09
同步与异步训练
同步SGD · 异步SGD · 梯度压缩 · 延迟补偿
同步异步
10
参数服务器架构
PS架构原理 · 一致性哈希 · 异步更新策略
PS哈希
11
分布式训练框架概览
PyTorch DDP · Horovod · DeepSpeed · Megatron-LM
框架对比
12
PyTorch DDP深入
DistributedDataParallel原理 · 进程组初始化 · 梯度同步
DDPPyTorch
13
PyTorch FSDP
Fully Sharded Data Parallel · 分片策略 · 混合精度集成
FSDP分片
14
DeepSpeed核心
ZeRO Stage 1/2/3 · ZeRO-Offload · ZeRO-Infinity
ZeROOffload
15
Megatron-LM实战
张量并行实现 · 序列并行 · 模型加载与切分
Megatron张量
16
混合精度训练
FP16/BF16原理 · Loss Scaling · AMP实现
精度AMP
17
梯度累积与检查点
梯度累积原理 · 激活值检查点 · 内存优化
累积检查点
18
分布式负载均衡
计算/通信负载均衡 · 动态重分配
均衡动态
19
大规模训练稳定性
梯度爆炸/消失 · 损失震荡 · NaN检测与恢复
稳定NaN
20
监控与调试
NVIDIA Nsight · TensorBoard · Profiling工具
监控Profiling
21
数据加载优化
分布式DataLoader · 数据预处理流水线 · 内存映射
数据流水线
22
模型保存与加载
分布式Checkpoint · Sharded Checkpoint · 热加载
Checkpoint热加载
23
弹性训练
动态节点加入/退出 · 容错机制 · 状态恢复
弹性容错
24
多节点训练
InfiniBand与RoCE · RDMA · 网络拓扑优化
网络RDMA
25
GPU集群调度
Slurm基础 · 任务提交 · 资源分配策略
Slurm调度
26
分布式训练案例分析
GPT-3训练 · LLaMA训练 · BERT预训练
案例LLM
27
分布式推理
张量并行推理 · 流水线推理 · 推理服务部署
推理部署
28
联邦学习基础
联邦平均算法 · 隐私保护 · 通信效率
联邦隐私
29
分布式训练前沿
专家混合（MoE）· 稀疏训练 · 异步流水线
MoE前沿
30
综合实战
从单卡到多机多卡训练一个LLM模型
实战LLM