01
分布式训练基础：从单卡到多卡，为什么需要分布式？
单卡瓶颈 · 数据并行雏形 · 加速比与效率
入门核心概念
02
通信原语：All-Reduce、All-Gather、Reduce-Scatter 原理与对比
集合通信语义 · 带宽复杂度 · 适用场景
原语必修
03
同步训练 vs 异步训练：梯度一致性与收敛性分析
同步屏障 · 异步梯度 · 收敛权衡
策略理论
04
数据并行：Ring-AllReduce 算法详解与实现
Ring 拓扑 · 分块通信 · 带宽最优
算法实现
05
模型并行：张量并行与流水线并行的核心思想
层内切分 · 微批次 · 通信模式
模型并行高级
06
混合并行：3D 并行（数据+张量+流水线）的协同设计
3D 并行矩阵 · 通信重叠 · 显存均衡
混合并行系统
07
NCCL 库：初始化、通信器创建与常用 API
ncclComm · 设备绑定 · 集合通信调用
NCCLAPI
08
NCCL 性能调优：NIC 绑定、Ring 顺序与 NVLink 拓扑
拓扑感知 · 环序优化 · 带宽压测
调优NVLink
09
通信拓扑：Ring、Tree、Double Tree 的优劣分析
拓扑结构 · 延迟模型 · 扩展性
拓扑对比
10
通信计算重叠：异步 All-Reduce 与梯度累积
异步通信 · 计算隐藏 · 累积策略
重叠性能
11
梯度压缩：Top-K 稀疏化与量化通信
稀疏梯度 · 量化误差 · 压缩比
压缩带宽
12
梯度延迟补偿：DC-ASGD 与异步补偿策略
延迟补偿 · 动量校正 · 异步SGD
延迟补偿
13
通信带宽瓶颈：PCIe 带宽、NVLink 带宽与 InfiniBand
硬件带宽 · 瓶颈分析 · 互连技术
硬件瓶颈
14
网络拓扑优化：Fat-Tree、Dragonfly 与 Torus 拓扑
数据中心拓扑 · 路由 · 全局带宽
网络拓扑
15
集合通信库对比：NCCL vs Gloo vs MPI
库特性 · 性能对比 · 选型建议
对比选型
16
通信 Profiling：使用 nsys 与 Nsight 分析通信耗时
性能分析 · 时间线 · 热点定位
Profiling工具
17
通信热点识别：通信占比、带宽利用率与延迟分析
热点指标 · 利用率 · 延迟分解
分析优化
18
通信优化策略：梯度合并、分桶与通信调度
合并策略 · 分桶 · 调度优先级
优化工程
19
通信与计算负载均衡：动态梯度切分与负载感知调度
动态切分 · 负载均衡 · 自适应
负载调度
20
通信故障恢复：超时重传、断点续训与通信容错
故障检测 · 重传机制 · 容错训练
容错可靠性
21
多机通信：跨节点通信的延迟与带宽挑战
跨节点拓扑 · 网络延迟 · 带宽限制
多机挑战
22
RDMA 与 GPUDirect：绕过 CPU 的零拷贝通信
RDMA · GPUDirect · 零拷贝
RDMA高性能
23
通信与显存管理：通信缓冲区复用与显存碎片
缓冲区池 · 显存复用 · 碎片整理
显存管理
24
通信调度器：基于优先级的梯度发送与接收
优先级队列 · 调度策略 · 饥饿避免
调度优先级
25
通信与数据加载：IO 与通信的流水线并行
IO 流水线 · 预取 · 通信隐藏
IO流水线
26
通信与计算图优化：自动微分与通信融合
图优化 · 通信融合 · 自动调度
计算图融合
27
通信 Benchmark：编写自定义通信测试工具
Benchmark 设计 · 带宽测量 · 延迟测试
工具测试
28
大规模集群通信：千卡级 All-Reduce 的挑战与方案
千卡拓扑 · 通信调度 · 线性扩展
大规模集群
29
通信与能耗：通信能耗模型与节能调度
能耗模型 · 节能策略 · 绿色通信
能耗可持续
30
未来趋势：可重构通信、光互连与通信即服务
可重构 · 光互连 · CaaS
前沿趋势