01
单卡训练基础
GPU架构简介 · CUDA编程模型 · PyTorch单卡流程 · nvidia-smi
GPUCUDAPyTorch
02
数据并行入门
数据并行原理 · AllReduce算法 · PyTorch DDP入门
DDPAllReduce
03
分布式训练框架
Horovod vs DDP vs DeepSpeed · 框架选型对比
HorovodDeepSpeed
04
集群网络拓扑
InfiniBand vs RoCE vs Ethernet · 网络对训练的影响
网络IBRoCE
05
集合通信库
NCCL原理 · Ring/Tree AllReduce · 带宽利用率
NCCLRing
06
同步与异步训练
同步SGD vs 异步SGD · 梯度一致性 · 收敛性
SGD异步
07
混合精度训练
FP16/BF16原理 · AMP实战 · Loss Scaling技巧
AMPFP16
08
梯度累积
梯度累积原理 · Batch Size关系 · DDP实现
梯度累积DDP
09
模型并行
模型并行原理 · Pipeline Parallelism · Tensor Parallelism
模型并行GPipe
10
流水线并行
微批次划分 · 1F1B调度 · 气泡率分析
流水线1F1B
11
张量并行
Megatron-LM 1D张量并行 · Column-wise/Row-wise切分
Megatron张量并行
12
序列并行
长序列挑战 · Ring Attention · Flash Attention
序列并行FlashAttention
13
专家并行
MoE架构 · Top-K路由 · 负载均衡策略
MoE专家并行
14
ZeRO优化器
ZeRO-Stage 1/2/3 · Offload技术 · 显存节省分析
ZeRO显存优化
15
DeepSpeed引擎
配置详解 · ZeRO+DDP · 梯度裁剪与优化器状态
DeepSpeedZeRO
16
Megatron-LM框架
核心概念 · 模型+数据并行混合 · 代码结构
Megatron混合并行
17
ColossalAI框架
并行策略 · 自动并行搜索 · Shardformer
ColossalAI自动并行
18
作业调度系统
Slurm基础 · 分区与QoS · sbatch/srun使用
Slurm调度
19
容器化训练
Docker镜像 · NVIDIA Container Toolkit · K8s基础
DockerK8s
20
Kubernetes调度
Pod/Job管理 · GPU调度(nvidia-device-plugin) · Volcano
K8sVolcano
21
弹性训练
弹性训练概念 · TorchElastic · 容错与动态加入
弹性TorchElastic
22
训练监控
Prometheus+Grafana · 指标采集 · 告警规则
监控Prometheus
23
日志与调试
TensorBoard · Weights & Biases · 分布式调试
W&BTensorBoard
24
数据加载优化
DataLoader多进程 · 内存映射 · NVMe缓存 · 预处理流水线
DataLoaderNVMe
25
Checkpoint策略
分布式保存/恢复 · 异步Checkpoint · 权重合并
Checkpoint容错
26
超参数调优
分布式超参搜索 · Optuna/Ray Tune · 学习率调度
OptunaRay Tune
27
性能调优
计算通信重叠 · 算子融合 · Kernel优化 · Nsight Systems
ProfilingNsight
28
常见故障排查
OOM · 通信超时 · NCCL死锁 · 网络丢包诊断
故障NCCL
29
成本优化
Spot实例 · 混合云训练 · 资源碎片整理 · 自动扩缩容
成本Spot
30
实战案例
从单卡到64卡训练LLaMA · 完整流程与踩坑记录
LLaMA实战