01
多卡同步的底层原理
从单机单卡到多机多卡的演进，同步与异步的数学本质，通信拓扑与带宽瓶颈。
演进数学本质拓扑
02
AllReduce算法深度解析
Ring AllReduce、Tree AllReduce、Recursive Halving-Doubling，以及它们在NCCL中的实现。
RingTreeNCCL
03
NCCL库的调优实战
环境变量设置、NVLink与PCIe的拓扑感知、NCCL的异步与同步模式。
环境变量拓扑感知异步
04
梯度累积与梯度压缩
如何用梯度累积解决显存不足，如何用梯度压缩（TopK、QSGD）降低通信量。
梯度累积TopKQSGD
05
同步策略的选择
同步训练、异步训练、半同步训练（SSP、ASP），以及它们的收敛性对比。
同步异步SSP
06
数据并行中的同步优化
DataParallel与DistributedDataParallel的差异，梯度同步的时机与重叠。
DPDDP重叠
07
模型并行中的同步挑战
张量并行与流水线并行的同步点设计，1F1B策略的同步开销。
张量并行流水线1F1B
08
混合精度训练与同步
FP16/BF16下的梯度同步问题，Loss Scaling对同步的影响。
FP16BF16Loss Scaling
09
通信与计算重叠技术
使用CUDA Stream实现通信与计算的重叠，Async Op的调度。
CUDA Stream重叠Async
10
分布式训练中的同步屏障
Barrier操作的代价，如何减少不必要的同步等待。
Barrier等待优化
11
参数服务器架构的同步
Pull/Push模式的同步延迟，一致性哈希与负载均衡。
Pull/Push一致性哈希负载均衡
12
同步效率的Profiling工具
使用Nsight Systems、PyTorch Profiler定位同步瓶颈。
NsightProfiler瓶颈
13
网络拓扑对同步的影响
叶脊架构与胖树架构，RoCE与InfiniBand的对比。
叶脊胖树RoCE
14
同步超时的处理
训练中断时的同步恢复策略，Checkpoint与Elastic Training。
超时CheckpointElastic
15
同步中的负载不均问题
数据倾斜导致的同步等待，动态负载均衡策略。
数据倾斜负载均衡动态
16
同步频率的优化
梯度累积步数的选择，Local SGD与周期同步。
累积步数Local SGD周期
17
同步中的内存优化
梯度桶（Gradient Bucket）的合并策略，减少同步次数。
梯度桶合并减少次数
18
同步与数据加载的协同
DataLoader的预取与同步节奏的匹配，避免I/O阻塞同步。
预取节奏I/O
19
同步中的容错机制
节点故障时的同步状态恢复，同步超时重试策略。
容错状态恢复重试
20
同步效率的数学建模
通信复杂度分析，BSP与ASP的收敛速度对比。
复杂度BSPASP
21
同步中的梯度一致性
梯度噪声对同步的影响，SyncBN与常规BN的差异。
梯度噪声SyncBNBN
22
同步中的稀疏通信
梯度稀疏化与同步的结合，TopK稀疏化的工程实现。
稀疏化TopK工程
23
同步中的量化通信
梯度量化（1-bit SGD、SignSGD）对同步效率的提升。
1-bit SGDSignSGD量化
24
同步中的延迟补偿
延迟梯度对模型收敛的影响，延迟补偿算法（DC-ASGD）。
延迟梯度DC-ASGD补偿
25
同步中的拓扑感知调度
根据GPU拓扑自动选择同步策略，Hierarchical AllReduce。
拓扑感知自动选择Hierarchical
26
同步中的流水线优化
多轮同步的流水线执行，减少同步的端到端延迟。
流水线端到端延迟
27
同步中的带宽利用率
如何利用NVLink的全带宽，避免PCIe的带宽争抢。
NVLinkPCIe带宽
28
同步中的CPU-GPU协同
CPU侧梯度聚合与GPU侧同步的并行化。
CPU聚合GPU同步并行
29
同步效率的Benchmark方法
设计科学的同步效率测试，分析扩展性（Scaling Efficiency）。
Benchmark扩展性Scaling
30
大规模集群同步实战
千卡级同步的挑战与解决方案，实际案例复盘。
千卡级挑战案例