01
多卡训练基础
为什么需要多卡训练 · 并行策略 · 性能指标
数据并行模型并行流水线
02
硬件环境搭建
GPU选型 · NVLink拓扑 · InfiniBand · CPU/内存
服务器网络拓扑
03
PyTorch DDP入门
DistributedDataParallel · 进程组 · 数据加载 · 梯度同步
DDP同步包装
04
数据加载优化
多进程设置 · prefetch_factor · 内存映射 · 流水线
IODataLoader预处理
05
梯度累积与混合精度
梯度累积 · AMP · GradScaler · FP16/BF16
AMP精度累积
06
通信优化
NCCL调优 · 梯度压缩 · 分桶 · 异步通信
NCCL压缩重叠
07
模型并行策略
张量并行 · 序列并行 · 专家并行 · 1D/2D组合
MegatronMoE并行
08
流水线并行
GPipe · PipeDream · 1F1B · 负载均衡
微批次气泡调度
09
ZeRO优化器
Stage1/2/3 · Offload · Infinity · DeepSpeed
显存ZeRODeepSpeed
10
分布式训练框架
DeepSpeed · Megatron · ColossalAI · Horovod
框架选型对比
11
数据并行进阶
FSDP原理 · 配置策略 · 混合分片 · CPU Offload
FSDP分片卸载
12
通信拓扑优化
环形/树形AllReduce · 拓扑感知 · 带宽利用率
AllReduce拓扑优化
13
计算与通信重叠
前向/反向重叠 · 异步启动 · 性能剖析
重叠异步Profiling
14
显存优化技术
Activation Checkpointing · 碎片整理 · 张量卸载
检查点显存复用
15
分布式训练调试
NCCL错误 · 超时 · 日志 · Nsight · Profiler
调试ProfilingNCCL
16
大规模训练稳定性
损失震荡 · 预热 · 梯度裁剪 · 学习率缩放
稳定性预热裁剪
17
多机多卡训练
多节点通信 · SSH · 分布式文件系统 · 容错
多机网络容错
18
训练监控与可视化
TensorBoard · WandB · GPU/带宽监控 · 日志
监控可视化WandB
19
模型保存与加载
分布式Checkpoint · Sharded · Safetensors · 断点续训
CheckpointSafetensors续训
20
混合专家模型 (MoE)
MoE架构 · TopK路由 · 负载均衡 · 专家并行
MoE路由并行
21
长序列训练优化
FlashAttention · 序列并行 · 稀疏注意力 · 内存
FlashAttn长序列稀疏
22
数据并行与模型并行组合
3D并行 · DeepSpeed 3D · Megatron 3D · 案例
3D并行组合实践
23
训练吞吐量基准测试
Benchmark工具 · 吞吐公式 · 加速比 · 瓶颈定位
基准吞吐分析
24
GPU内核优化
CUDA融合 · Tensor Core · JIT · TorchScript · Triton
CUDATritonJIT
25
分布式训练安全
梯度泄露 · 差分隐私 · 安全聚合 · 加密通信
安全隐私加密
26
云上分布式训练
SageMaker · GCP · 阿里云PAI · Kubernetes · Spot
云K8sSpot
27
训练成本优化
Spot容错 · 动态调度 · 弹性训练 · 混合云 · 监控
成本弹性混合云
28
大语言模型训练实战
LLaMA · GPT配置 · 数据预处理 · 分词器并行
LLMLLaMAGPT
29
多模态模型训练
视觉-语言并行 · 数据加载 · 模态对齐 · 分布式推理
多模态对齐推理
30
未来趋势与总结
新硬件 · 新框架 · 联邦学习 · 边缘训练 · 总结
趋势JAXTriton