01
通信瓶颈全景图
为什么多卡训练慢？通信与计算的时间比，Amdahl定律在分布式训练中的应用。
全景Amdahl
02
硬件链路揭秘
NVLink、PCIe、InfiniBand、以太网的带宽与延迟对比，拓扑结构对通信的影响。
硬件拓扑
03
集合通信原语
AllReduce、AllGather、ReduceScatter、Broadcast的原理与开销模型。
原语AllReduce
04
Ring AllReduce 深度解析
分步拆解ReduceScatter + AllGather，带宽最优化的秘密。
Ring带宽
05
通信与计算重叠
异步通信、CUDA Stream、多流并行，如何让GPU在通信时不闲着。
重叠CUDA Stream
06
梯度压缩技术
量化、稀疏化、梯度裁剪，牺牲多少精度换多少速度。
压缩量化
07
梯度累积与梯度合并
小batch size下的通信优化，减少通信频率。
累积合并
08
通信拓扑优化
Hierarchical AllReduce、Tree AllReduce、分桶策略。
拓扑分桶
09
通信库选择
NCCL vs Gloo vs MPI，各自的适用场景与性能调优。
NCCLGlooMPI
10
NCCL 核心参数调优
NCCL_ALGO、NCCL_PROTO、NCCL_NTHREADS、NCCL_IB_DISABLE。
调优NCCL
11
网络性能基准测试
使用nccl-tests、allreduce_benchmark进行带宽与延迟测量。
基准nccl-tests
12
Profiling 工具
NVIDIA Nsight Systems、PyTorch Profiler、TensorBoard追踪通信瓶颈。
ProfilingNsight
13
数据加载的通信陷阱
DataLoader的num_workers与分布式采样的配合，避免数据成为瓶颈。
DataLoader采样
14
模型并行 vs 数据并行
通信模式差异，何时该切模型，何时该扩数据。
模型并行数据并行
15
流水线并行通信
GPipe、PipeDream的通信调度，减少气泡。
流水线GPipe
16
张量并行通信
Megatron-LM的f和g操作，通信量分析与优化。
张量并行Megatron
17
序列并行通信
Ring Attention、FlashAttention的通信模式，长序列下的优化。
序列并行FlashAttention
18
专家并行通信
MoE架构下的All-to-All通信，负载均衡与通信优化。
MoEAll-to-All
19
3D并行通信
数据并行+张量并行+流水线并行的通信叠加，如何设计通信方案。
3D并行叠加
20
ZeRO系列通信优化
ZeRO-1、ZeRO-2、ZeRO-3的通信量对比，offload策略。
ZeROOffload
21
FSDP通信原理
分片策略、通信粒度、预取机制，与DDP的对比。
FSDPDDP
22
通信与计算比的数学建模
如何根据模型大小、GPU数量、带宽预估训练时间。
建模预估
23
通信拓扑感知的任务调度
将同一节点的GPU优先分配，减少跨节点通信。
调度拓扑感知
24
网络拥塞控制
多任务共享集群时的通信隔离与QoS配置。
拥塞QoS
25
异步通信与同步屏障
AllReduce的同步开销，如何用异步通信隐藏延迟。
异步屏障
26
通信融合
将多个小张量的通信合并为一次大通信，减少启动开销。
融合合并
27
通信调度策略
Round-Robin、优先级调度、动态调整通信顺序。
调度Round-Robin
28
混合精度训练中的通信
FP16 vs FP32通信量差异，BF16的优势。
混合精度BF16
29
通信故障排查
通信超时、NCCL报错、网络丢包，常见问题与解决方案。
故障排查
30
实战案例：从单卡到千卡
通信瓶颈的定位与优化全流程。
实战全流程