第1章
分布式训练基础：从单卡到多卡的演进与挑战
硬件迭代、通信瓶颈与扩展效率
入门概念
第2章
通信原语详解：All-Reduce、All-Gather、Reduce-Scatter 原理
集合通信核心操作与数学本质
原语算法
第3章
通信拓扑结构：Ring、Tree、Recursive Halving-Doubling 对比
拓扑延迟、带宽与可扩展性分析
拓扑性能
第4章
网络硬件基础：InfiniBand vs RoCE vs 以太网
高速网络选型与对比
硬件组网
第5章
PCIe 总线瓶颈：带宽、延迟与多卡拓扑
PCIe 层级结构与多卡通信
总线瓶颈
第6章
NVLink 与 NVSwitch：NVIDIA 高速互联技术
GPU 直连架构与带宽优势
NVLink拓扑
第7章
通信库对比：NCCL、Gloo、MPI 的选型与调优
库特性、性能与适用场景
通信库调优
第8章
通信计算重叠：异步通信与流水线技术
隐藏通信延迟的关键方法
重叠流水线
第9章
梯度压缩技术：量化、稀疏化、低秩分解
减少通信量的经典方法
压缩量化
第10章
通信量分析：模型大小、批次大小与通信占比
计算通信比与扩展效率
分析建模
第11章
同步与异步训练：同步屏障 vs 异步更新
一致性、收敛速度与通信开销
同步异步
第12章
数据并行通信模式：PS 架构 vs All-Reduce 架构
参数服务器与集合通信对比
数据并行架构
第13章
模型并行通信模式：张量并行与流水线并行
模型拆分带来的通信模式
模型并行通信
第14章
混合并行策略：3D 并行（DP+TP+PP）通信分析
多维并行下的通信挑战
3D并行策略
第15章
通信热点识别：NVIDIA Nsight Systems 使用
性能分析工具定位瓶颈
工具分析
第16章
网络拥塞控制：ECN、PFC、DCQCN 在分布式训练中的应用
无损网络与拥塞管理
拥塞控制网络
第17章
集合通信性能调优：NCCL 环境变量详解
NCCL 参数与性能优化
NCCL调优
第18章
多机通信优化：RDMA 与 GPUDirect 技术
远程直接内存访问与GPU直通
RDMAGPUDirect
第19章
通信负载均衡：分桶策略与梯度聚合优化
均衡通信与梯度融合
负载均衡分桶
第20章
通信故障排查：超时、丢包、带宽异常诊断
常见问题与排查流程
故障诊断
第21章
通信与计算比例分析：Roofline 模型应用
Roofline 模型与瓶颈识别
Roofline分析
第22章
显存与通信权衡：激活重计算与通信优化
显存节省与通信开销平衡
显存重计算
第23章
通信调度策略：优先级调度与任务编排
通信任务调度与依赖管理
调度编排
第24章
异构集群通信：不同 GPU 型号混训的挑战
算力差异与通信适配
异构混训
第25章
通信模拟与建模：性能预测与瓶颈预判
模拟器与性能建模方法
模拟建模
第26章
通信库源码分析：NCCL 核心实现解读
NCCL 内部机制与关键路径
源码NCCL
第27章
通信优化案例：GPT-3、LLaMA 训练中的通信实践
业界大模型通信方案
案例大模型
第28章
未来趋势：CXL、UEC 等下一代互联技术
新型互联标准与展望
趋势CXL
第29章
通信成本模型：计算通信比与扩展效率
量化通信开销与扩展性
成本模型效率
第30章
综合实战：构建一个 64 卡集群的通信优化方案
从拓扑到调优的全流程实战
实战集群