第1章
NCCL概述
什么是NCCL · 分布式训练角色 · 核心设计理念
基础概念
第2章
通信原理解析
Ring AllReduce · Tree AllReduce · 拓扑选择
原理核心
第3章
环境搭建与配置
安装指南 · 环境变量 · 多机多卡网络配置
实战部署
第4章
基础API使用
通信域初始化 · Send/Recv · 集合通信操作
API入门
第5章
性能基准测试
nccl-tests · 带宽与延迟 · 瓶颈定位
测试调优
第6章
通信算子优化策略
数据分块流水线 · 异步重叠 · 梯度压缩
优化进阶
第7章
拓扑感知优化
硬件拓扑 · NVLink/PCIe · NUMA亲和性
拓扑系统
第8章
多流与多线程优化
多Stream并发 · 多线程管理 · 并行调度
并发调度
第9章
自定义AllReduce算子
从零实现Ring · 性能对比 · 融合算子
算子手写
第10章
通信调度器设计
任务队列 · 动态带宽 · 故障恢复
调度系统
第11章
内存优化技术
缓冲区管理 · 零拷贝 · 内存池化
内存性能
第12章
网络协议优化
RDMA/RoCEv2 · GDR · 拥塞控制
网络协议
第13章
混合精度通信
FP16/BF16 · 梯度缩放 · 自定义数据类型
精度优化
第14章
通信与计算重叠
异步梯度同步 · Hook机制 · Overlap模型
重叠性能
第15章
大规模集群通信
多节点拓扑 · 分层AllReduce · 全局调度
集群分布式
第16章
通信Profiling工具
Nsight Systems · NCCL Profiler · 热点分析
工具分析
第17章
常见通信瓶颈案例
带宽利用率低 · 延迟抖动 · 死锁超时
案例排错
第18章
通信算子融合
梯度AllReduce融合 · Kernel融合 · Fused算子
融合优化
第19章
稀疏通信技术
TopK稀疏化 · 随机压缩 · 同步策略
稀疏压缩
第20章
异步通信框架
异步引擎 · 事件驱动 · 回调机制
异步架构
第21章
通信安全与容错
加密认证 · 节点检测 · Checkpoint恢复
安全容错
第22章
多租户通信隔离
域隔离 · 带宽分配 · 优先级调度
多租户隔离
第23章
通信与存储协同
分布式Checkpoint · 数据加载流水线 · 存储级内存
存储协同
第24章
异构通信优化
CPU-GPU混合 · 多GPU异构 · 跨厂商设备
异构混合
第25章
通信自动调优
AutoTune · 动态参数调整 · 机器学习优化
自动调优
第26章
通信库集成
PyTorch DDP · DeepSpeed · Megatron-LM
集成框架
第27章
通信模拟与仿真
NCCL模拟器 · 性能建模 · 大规模仿真
仿真模拟
第28章
前沿通信技术
NVLink Switch · InfiniBand NDR400 · CXL
前沿硬件
第29章
通信优化实战案例
GPT-3 · MoE · 推荐系统
实战案例
第30章
课程总结与展望
方法论总结 · 未来趋势 · 学习资源
总结展望