01
分布式系统概述
分布式系统的定义、CAP理论、分布式计算的挑战。
基础CAP
02
算子与数据流
算子的概念、数据流图、有状态与无状态算子。
核心概念数据流
03
同步机制基础
同步与异步、阻塞与非阻塞、同步原语（锁、信号量、屏障）。
原语锁
04
分布式同步模型
全局同步屏障（Barrier）、异步同步模型、BSP模型与SSP模型。
BSPSSP
05
同步开销分析
通信开销、同步等待时间、负载不均导致的同步瓶颈。
性能瓶颈
06
同步优化策略概览
减少同步频率、异步化、流水线、局部聚合。
策略流水线
07
数据本地性优化
数据分区与放置、减少跨节点数据传输。
数据分区本地性
08
通信拓扑优化
树形聚合、环形通信、AllReduce算法（Ring AllReduce、Tree AllReduce）。
AllReduce拓扑
09
梯度压缩技术
量化、稀疏化、梯度裁剪，减少通信量。
压缩量化
10
梯度累积与延迟同步
局部梯度累积、周期同步、1-bit SGD。
累积延迟
11
异步并行（ASP）
异步梯度更新、无锁优化、Stale Gradient问题。
ASP异步
12
同步并行（BSP）
严格同步、全局屏障、容错机制。
BSP屏障
13
混合同步模型（SSP）
Staleness Threshold、Bound Delay、动态调整。
SSP混合
14
流水线并行
微批次划分、计算与通信重叠、GPipe与PipeDream。
流水线GPipe
15
张量并行
模型分片、矩阵乘法拆分、Megatron-LM实践。
张量Megatron
16
数据并行
数据分片、梯度同步、AllReduce在数据并行中的应用。
数据并行AllReduce
17
模型并行
层内并行与层间并行、手动切分与自动切分。
模型并行切分
18
参数服务器架构
Parameter Server设计、异步更新、一致性哈希。
PS异步
19
去中心化同步
Gossip协议、AllReduce替代方案、D-PSGD。
Gossip去中心化
20
通信库优化
NCCL、Gloo、MPI的选择与调优、NVLink与InfiniBand。
NCCLMPI
21
计算与通信重叠
异步通信、Stream多流、CUDA Graph优化。
重叠CUDA
22
动态调度与负载均衡
动态任务分配、Work Stealing、Recomputing策略。
调度负载均衡
23
容错与恢复
检查点（Checkpoint）、故障检测、任务重调度。
容错Checkpoint
24
同步频率自适应
动态调整同步间隔、基于梯度变化的策略。
自适应频率
25
异构集群同步优化
CPU与GPU混合、带宽差异、异构AllReduce。
异构混合
26
同步优化工具与框架
Horovod、DeepSpeed、PyTorch DDP、Ray。
HorovodDeepSpeed
27
性能分析与调优
Profiling工具（NVIDIA Nsight、PyTorch Profiler）、瓶颈定位。
ProfilerNsight
28
案例实战
大规模BERT训练同步优化、GPT-3同步策略分析。
BERTGPT-3
29
前沿趋势
异步局部SGD、联邦学习中的同步优化、无服务器同步。
联邦学习前沿
30
课程总结与最佳实践
同步优化决策树、常见陷阱、未来方向。
总结决策树