01
分布式训练基础
什么是分布式训练、为什么需要多卡同步、同步与异步的区别
入门概念
02
通信原理解析
AllReduce、AllGather、ReduceScatter 原理与对比
通信核心
03
NCCL 库详解
NCCL 的安装、配置、常用环境变量与性能调优
工具NVIDIA
04
同步策略对比
同步SGD、异步SGD、梯度累积、混合精度训练中的同步问题
策略对比
05
拓扑感知与网络优化
NVLink、InfiniBand、以太网的选择与拓扑感知通信
硬件网络
06
负载均衡与数据分片
数据并行、模型并行、流水线并行中的同步瓶颈
并行架构
07
梯度压缩与量化
梯度压缩算法（TopK、随机量化）、通信量减少技巧
压缩优化
08
异步流水线技术
计算与通信重叠、异步AllReduce、梯度预取
异步流水线
09
动态梯度缩放
解决梯度爆炸/消失、自动混合精度中的同步策略
精度稳定
10
通信调度优化
环形AllReduce、树形AllReduce、双树算法对比
算法调度
11
多机多卡环境搭建
SSH免密、MPI配置、Docker镜像中的NCCL设置
环境部署
12
性能分析工具
NCCL的NVTX标记、nsys profile、torch.distributed.profiler
调优profiling
13
常见瓶颈诊断
通信带宽利用率低、同步等待时间长、负载不均
诊断瓶颈
14
梯度累积实战
梯度累积步数选择、与同步频率的权衡
实战累积
15
混合精度训练中的同步
FP16/BF16下的梯度同步、损失缩放同步
混合精度同步
16
异步梯度同步实现
基于PyTorch的异步AllReduce代码示例
代码异步
17
通信组管理
进程组、全局秩、局部秩、子组通信优化
组管理分布式
18
动态拓扑调整
根据网络负载动态切换通信拓扑
动态拓扑
19
梯度压缩实战
TopK压缩、随机量化在PyTorch中的实现
压缩PyTorch
20
计算通信重叠
使用CUDA Stream实现计算与通信并行
CUDA重叠
21
多卡同步中的死锁与超时
常见死锁场景、超时设置与排查
死锁调试
22
分布式检查点同步
同步保存与异步保存策略、一致性保证
检查点容错
23
数据加载同步
分布式数据加载器（DistributedSampler）的同步机制
数据加载
24
同步频率自适应
根据梯度变化率动态调整同步频率
自适应频率
25
硬件加速同步
使用GPU Direct RDMA、GPUDirect Storage
硬件RDMA
26
同步日志与监控
TensorBoard中的同步指标、自定义同步监控
监控日志
27
大规模集群同步
千卡级同步的挑战、分层同步策略
大规模集群
28
同步与容错
节点故障时的同步恢复、梯度一致性校验
容错一致性
29
未来趋势
异步分布式训练、去中心化同步、新型通信协议
前沿趋势
30
综合实战
从单卡到多卡，完整优化一个ResNet-50训练任务
项目ResNet