01
多卡同步概述
为什么需要多卡同步 · 同步与异步的区别 · 常见多卡训练范式
数据并行模型并行流水线并行
02
同步梯度下降 (Sync SGD)
基本原理 · AllReduce 操作 · 同步屏障 (Barrier) 机制
AllReduceBarrier
03
异步梯度下降 (Async SGD)
基本原理 · 无锁更新 · 梯度延迟问题 (Stale Gradient)
无锁延迟梯度
04
混合同步 (Hybrid Sync)
梯度累积 · 局部同步与全局同步 · 跨节点同步策略
梯度累积局部同步
05
AllReduce 算法详解
Ring AllReduce · Tree AllReduce · Recursive Halving-Doubling
RingTreeHalving-Doubling
06
NCCL 库深度解析
通信原语 · 拓扑感知 · 性能调优
NCCL拓扑感知
07
MPI 与多卡通信
MPI_Allreduce · MPI_Bcast · MPI_Scatter/Gather 应用
MPI集合通信
08
参数服务器架构 (PS)
PS 架构原理 · 同步与异步 PS · Google DistBelief 案例
Parameter ServerDistBelief
09
数据并行 (Data Parallelism)
数据切分 · 梯度同步 · PyTorch DDP 实现原理
DDP数据并行
10
模型并行 (Model Parallelism)
层内切分 · 张量并行 (Tensor Parallelism) · Megatron-LM 实践
张量并行Megatron-LM
11
流水线并行 (Pipeline Parallelism)
GPipe · PipeDream · 1F1B 调度策略
GPipePipeDream1F1B
12
混合并行 (Hybrid Parallelism)
3D 并行 (数据+模型+流水线) · DeepSpeed 实现
3D并行DeepSpeed
13
梯度压缩与通信优化
梯度量化 · 梯度稀疏化 · Top-K 稀疏化 · 随机梯度压缩
量化稀疏化Top-K
14
通信拓扑优化
环形拓扑 · 树形拓扑 · 全连接拓扑 · 自适应拓扑选择
环形树形自适应
15
同步开销分析
通信计算比 (C2C) · Amdahl 定律在多卡场景的应用
C2CAmdahl
16
负载均衡策略
静态负载均衡 · 动态负载均衡 · 任务窃取 (Work Stealing)
负载均衡Work Stealing
17
容错与恢复机制
检查点 (Checkpoint) · 异步快照 · 弹性训练 (Elastic Training)
Checkpoint弹性训练
18
分布式文件系统与数据加载
NFS · Lustre · Alluxio · 数据预取与缓存
NFSLustreAlluxio
19
网络协议与硬件
InfiniBand vs RoCE vs TCP/IP · NVLink · NVSwitch 架构
InfiniBandNVLinkNVSwitch
20
GPU 显存管理
显存池化 · ZeRO 优化器 (ZeRO-1/2/3) · 显存碎片整理
ZeRO显存池化
21
同步锁与竞争条件
分布式锁 (ZooKeeper/etcd) · 无锁同步设计 · CAS 操作
分布式锁CAS
22
时间同步与时钟同步
NTP · PTP (精确时间协议) · 逻辑时钟 (Lamport 时钟)
NTPPTPLamport
23
同步性能基准测试
带宽测试 (ib_write_bw) · 延迟测试 (pingpong) · 吞吐量测试
ib_write_bwpingpong
24
同步策略选择指南
根据模型大小 · 集群规模 · 网络带宽选择最优策略
策略选择带宽
25
多卡同步在 NLP 中的应用
BERT 预训练 · GPT 系列训练 · T5 训练中的同步策略
BERTGPTT5
26
多卡同步在 CV 中的应用
ResNet 训练 · ViT 训练 · YOLO 训练中的同步策略
ResNetViTYOLO
27
多卡同步在推荐系统中的应用
DeepFM · DIN · 多任务学习中的同步策略
DeepFMDIN多任务
28
同步调试与性能分析工具
NVIDIA Nsight Systems · PyTorch Profiler · TensorBoard 分布式分析
NsightProfilerTensorBoard
29
常见问题与解决方案
通信超时 · 梯度爆炸/消失 · 死锁 · 显存溢出
超时死锁OOM
30
未来趋势
异构计算同步 · 存算一体架构 · 量子计算与分布式同步
异构计算存算一体量子