第1章
分布式训练基础：从单卡到多卡
为什么需要梯度同步？单卡瓶颈与多卡协作
入门核心概念
第2章
同步梯度策略 (Sync SGD)
原理、实现与优缺点分析
同步SGD
第3章
异步梯度策略 (Async SGD)
原理、实现与优缺点分析
异步SGD
第4章
梯度同步的通信拓扑
AllReduce · Ring AllReduce · Tree AllReduce
拓扑通信
第5章
参数服务器架构 (PS)
原理、角色分工与通信模式
PS架构
第6章
同步 vs 异步
性能对比、收敛性分析与选型指南
对比选型
第7章
梯度压缩技术
量化、稀疏化、梯度裁剪的原理与实现
压缩量化
第8章
梯度累积
原理、适用场景与代码实现
累积技巧
第9章
梯度延迟补偿
异步训练中的梯度陈旧性问题与解决方案
延迟补偿
第10章
通信与计算重叠
通过流水线隐藏通信开销
流水线优化
第11章
梯度同步的通信库
NCCL · Gloo · MPI 对比与选型
NCCLGloo
第12章
混合精度训练中的梯度同步
FP16 梯度处理与 Loss Scaling
混合精度FP16
第13章
数据并行中的梯度同步
DDP 原理与实现细节
DDP数据并行
第14章
模型并行中的梯度同步
张量并行与流水线并行的梯度处理
模型并行张量
第15章
流水线并行中的梯度同步
1F1B 策略与梯度累积
1F1B流水线
第16章
梯度同步的超参调优
Batch Size · 学习率 · Warmup 的关系
超参调优
第17章
梯度同步的故障恢复
通信超时、节点故障与 Checkpoint 策略
故障Checkpoint
第18章
梯度同步的性能分析工具
NCCL 日志 · Nsight · Profiling
分析Nsight
第19章
梯度同步的带宽优化
NVLink · InfiniBand · 以太网的选择
带宽NVLink
第20章
梯度同步的拓扑感知
基于网络拓扑的通信优化
拓扑感知
第21章
梯度同步的负载均衡
解决计算与通信的不均衡问题
负载均衡
第22章
梯度同步的稀疏化训练
Top-k 稀疏化与梯度动量修正
稀疏Top-k
第23章
梯度同步的量化训练
1-bit SGD · SignSGD · 误差反馈
量化1-bit
第24章
梯度同步的联邦学习场景
本地更新与全局聚合策略
联邦聚合
第25章
梯度同步的异构计算场景
CPU-GPU 混合训练与梯度同步
异构CPU-GPU
第26章
梯度同步的自动调优
AutoTune 与自适应梯度同步策略
自动调优AutoTune
第27章
梯度同步的分布式调试
常见 Bug 与排查方法
调试Bug
第28章
梯度同步的实战案例
BERT · GPT 等大模型训练中的梯度同步
实战BERT
第29章
梯度同步的未来趋势
无梯度同步、梯度压缩新方向
趋势前沿
第30章
课程总结与项目实战
搭建分布式训练系统并调优梯度同步
总结项目