第1章
多卡通信概述
为什么需要多卡通信 · 分布式训练基本概念 · MPI/NCCL/Gloo简介
概念入门
第2章
环境搭建
NVIDIA驱动 · CUDA Toolkit · cuDNN · Docker容器化
环境配置
第3章
NCCL基础
安装验证 · Comm/Stream/Op · 初始化与销毁
NCCL核心
第4章
点对点通信 (P2P)
Send/Recv原语 · 阻塞与非阻塞 · 同步异步 · 矩阵分块传输
P2P实战
第5章
集合通信原语 (上)
AllReduce · Broadcast · Scatter & Gather
集合通信原理
第6章
集合通信原语 (下)
AllGather · ReduceScatter · All-to-All
集合通信进阶
第7章
NCCL通信组管理
Comm创建/拆分 · 多设备管理 · Rank & World Size
组管理配置
第8章
通信拓扑与算法
Ring AllReduce · Tree算法 · Double Tree · 拓扑感知
算法拓扑
第9章
异步通信与流处理
CUDA Stream · 事件同步 · 异步回调 · 计算通信重叠
异步性能
第10章
通信性能分析
带宽/延迟测试 · 吞吐量计算 · nsys性能剖析
性能工具
第11章
通信优化策略
梯度压缩 · 梯度累积 · 计算通信重叠 · 带宽优化
优化进阶
第12章
分布式数据并行 (DDP)
PyTorch DDP原理 · 梯度同步 · 实战ResNet-50
DDP实战
第13章
分布式模型并行
模型并行 vs 数据并行 · 张量并行 · 流水线并行
模型并行策略
第14章
混合并行策略
3D并行 · ZeRO优化器 · FSDP
混合并行ZeRO
第15章
通信库对比
NCCL vs Gloo vs MPI · 性能对比 · 选型建议
对比选型
第16章
MPI编程入门
MPI安装 · Send/Recv · 集合操作 · 与NCCL混合
MPI编程
第17章
Gloo编程实战
Gloo安装 · Allreduce · Barrier · 与PyTorch集成
Gloo实战
第18章
多机通信配置
SSH免密 · IB/RoCE/以太网 · 多机NCCL初始化
多机网络
第19章
通信故障排查
错误码解析 · 超时定位 · 丢包排查 · 日志调试
故障调试
第20章
通信安全与隔离
多租户隔离 · 网络加密 · 身份认证 · 最佳实践
安全隔离
第21章
通信与存储协同
NFS/Lustre · 数据加载重叠 · IO与通信平衡
存储协同
第22章
大规模集群通信
千卡挑战 · 分层设计 · 全局调度 · 案例分享
大规模集群
第23章
通信Profiling工具
NVTX标记 · PyTorch Profiler · TensorBoard · 自定义
Profiling可视化
第24章
通信自动调优
AutoTune · 环境变量调优 · 动态路由 · 自适应算法
自动调优NCCL
第25章
通信与模型架构
Transformer通信模式 · MoE · 序列并行
模型架构MoE
第26章
通信在推理中的应用
多卡推理加速 · 张量并行推理 · 流水线并行推理
推理加速
第27章
通信与容错
超时重试 · 节点恢复 · Checkpoint · 弹性训练
容错弹性
第28章
前沿通信技术
NVLink/NVSwitch · InfiniBand vs RoCEv2 · CXL · 未来趋势
前沿硬件
第29章
综合实战（一）
搭建4卡环境 · DDP训练 · 性能调优与对比
实战4卡
第30章
综合实战（二）
3D并行训练 · 端到端分析 · 总结与展望
3D并行收官