第01章
课程导论
为什么需要多卡通信？分布式训练基础概念，课程目标与学习路径。
入门概览
第02章
硬件拓扑认知
NVLink、PCIe、InfiniBand、以太网，不同互联方式的带宽与延迟特性。
硬件拓扑
第03章
NCCL库入门
NCCL是什么？核心API介绍（ncclSend/Recv/AllReduce等），安装与版本选择。
NCCLAPI
第04章
带宽测试工具链
nvidia-smi topo -m、nccl-tests、ib_write_bw、iperf3 概览。
工具诊断
第05章
nccl-tests 实战（一）
编译与运行 all_reduce_perf，理解输出指标（algbw, busbw）。
实战带宽
第06章
nccl-tests 实战（二）
单机多卡 vs 多机多卡测试，影响带宽的关键参数（-b, -e, -f, -g）。
多机参数
第07章
nccl-tests 实战（三）
协议选择（Simple/LL/LL128），NVLink 拓扑对带宽的影响。
协议NVLink
第08章
nccl-tests 实战（四）
多机测试配置，SSH 免密、IB 网卡绑定、环境变量 NCCL_IB_DISABLE 等。
多机IB
第09章
性能诊断
如何判断带宽是否达标？理论带宽 vs 实测带宽，常见瓶颈分析。
诊断瓶颈
第10章
PCIe 瓶颈诊断
lspci -t 查看拓扑，nvidia-smi topo -m 解读，PCIe Gen 与 Lane 的影响。
PCIe拓扑
第11章
NVLink 诊断
nvidia-smi nvlink --status，NVLink 带宽聚合原理，Ring 与 Tree 拓扑。
NVLink诊断
第12章
InfiniBand 诊断
ibstatus、ibstat、ib_write_bw 测试，子网管理器（SM）配置检查。
IBSM
第13章
以太网诊断
iperf3 测试 TCP/UDP 带宽，MTU 设置，流控与 PFC 配置。
以太网PFC
第14章
CPU 与内存瓶颈
numa 亲和性，CPU 频率与内存带宽对通信的影响，绑核策略。
CPUNUMA
第15章
网络拥塞与丢包
PFC 死锁、ECN 标记、RoCE v2 拥塞控制，如何抓包分析。
拥塞RoCE
第16章
通信算子详解
AllReduce、AllGather、ReduceScatter、AlltoAll 的算法与带宽特征。
算子算法
第17章
Ring AllReduce 原理
Scatter-Reduce 与 AllGather 两阶段，带宽最优性证明。
Ring原理
第18章
Tree AllReduce 原理
Reduce 与 Broadcast 两阶段，适用于特定拓扑。
Tree拓扑
第19章
通信与计算重叠
异步通信、CUDA Stream、Event 同步，提升整体吞吐。
重叠Stream
第20章
自定义带宽测试
使用 CUDA 和 NCCL 编写简单的点对点带宽测试程序。
编程CUDA
第21章
多机通信环境搭建
Docker 容器化部署，MPI 与 NCCL 结合，Horovod 框架集成。
DockerMPI
第22章
日志与调试
NCCL_DEBUG=INFO 日志解读，常见错误码（NCCL_ERROR）排查。
调试日志
第23章
性能 Profiling
使用 nsys（NVIDIA Nsight Systems）分析通信时间线。
Profilingnsys
第24章
性能 Profiling 进阶
使用 Nsight Compute 分析 kernel 与通信 overlap 情况。
Nsight进阶
第25章
大规模集群通信
多节点拓扑感知，SHARP（In-Network Computing）技术。
集群SHARP
第26章
带宽与延迟权衡
消息大小对带宽利用率的影响，延迟关键型 vs 吞吐关键型场景。
延迟吞吐
第27章
常见故障案例（一）
NVLink 降速、PCIe 降 Gen、IB 链路误码。
故障案例
第28章
常见故障案例（二）
NCCL 超时、IB 端口 Down、CPU 软中断过高。
故障排查
第29章
性能调优 Checklist
从硬件、驱动、固件、系统配置到应用层的全链路检查清单。
调优清单
第30章
课程总结与展望
未来趋势（CXL、NVLink Switch、超大规模互联），推荐学习资源。
总结趋势