课程导入：GPU集群网络的重要性、学习目标、课程框架
为什么GPU集群离不开一张精心设计的网络
当我们谈论大模型训练、科学计算或大规模推理时，目光往往聚焦在GPU的算力、显存容量或CUDA核心数量上。然而，一个容易被忽视却决定成败的关键因素，是连接这些GPU的集群网络。如果把GPU比作一支精锐的军队，那么网络就是军队的通信系统——没有高效的通信，再强的单兵作战能力也无法形成整体战斗力。
以典型的千亿参数大模型训练为例，模型并行策略会将参数切分到数百甚至数千张GPU上。每一次梯度同步、每一轮参数更新，都依赖网络在GPU之间搬运海量数据。当集群规模从单机8卡扩展到千卡、万卡时，网络不再只是“连接线”，而是与算力同等重要的基础设施。业界常说的“算力利用率”之所以难以达到理想值，网络瓶颈往往是首要原因——GPU在等待数据时处于空闲状态，这种“算力等数据”的浪费，直接拉长了训练时间、抬高了成本。
学习目标：学完本章，你将能够
本章作为整个课程的导入，不急于深入技术细节，而是帮助你建立全局视野。完成本章学习后，你应该能够：
- 理解网络在GPU集群中的角色——清楚网络如何影响分布式训练的性能、扩展性与稳定性。
- 识别GPU集群网络的关键技术维度——包括拓扑结构、拥塞控制、通信库协同、运维监控等核心议题。
- 建立课程知识框架——知道后续章节将围绕哪些主题展开，各主题之间的逻辑关系是什么。
- 形成问题意识——在搭建或使用GPU集群时，能够主动思考网络层面的潜在瓶颈与优化空间。
课程框架：从物理链路到上层协同
本课程共30章，内容组织遵循“自下而上、由硬到软、从搭建到调优”的逻辑主线。整体框架可以划分为五个层次，每一层解决不同的问题：
| 层次 | 覆盖章节 | 核心主题 | 解决什么问题 |
|---|---|---|---|
| 基础层 | 第1-5章 | 网络基础、RDMA、RoCE、InfiniBand | 理解底层传输机制与硬件选型 |
| 拓扑层 | 第6-10章 | Fat-Tree、Torus、直连拓扑、布线规划 | 设计物理连接结构，决定带宽与容错上限 |
| 协议与拥塞控制层 | 第11-16章 | ECN、PFC、DCQCN、自适应路由 | 保障网络在突发流量下的低延迟与高吞吐 |
| 软件协同层 | 第17-24章 | NCCL、通信算子、网络接口绑定、集合通信优化 | 让上层框架与底层网络高效配合 |
| 运维与调优层 | 第25-30章 | 监控、故障定位、性能基准、成本优化 | 保障集群长期稳定运行并持续提升效率 |
这五个层次并非彼此独立，而是层层递进、相互影响。例如，拓扑结构决定了拥塞控制策略的复杂度；而通信库的调用方式又会影响实际流量模式，进而反馈到拓扑与协议的设计选择上。
一个真实场景：网络如何拖慢千卡训练
某互联网公司搭建了一套512卡GPU集群用于大模型预训练，硬件配置为每节点8张A100 GPU，节点间采用100Gbps RoCEv2网络，拓扑为两层Fat-Tree。初期测试时，单机8卡训练吞吐正常，但扩展到128卡以上时，训练吞吐增长远低于线性预期。进一步观察发现：
- GPU利用率在训练过程中频繁跌落到60%以下，呈现周期性“锯齿”波动。
- 网络端口统计显示，在梯度同步阶段，交换机出方向队列长度持续处于高位。
- 端到端延迟在突发流量时从正常的20微秒飙升至200微秒以上。
排查后确认，问题根源在于多对一通信模式引发的拥塞——当128个节点同时向一个参数服务器发送梯度时，汇聚交换机的出端口成为瓶颈，PFC流控机制虽然避免了丢包，却引发了队头阻塞，导致所有流向该端口的流量整体变慢。这正是典型的“拥塞扩散”现象，也是GPU集群网络中最常见、最棘手的性能杀手之一。
这个案例揭示了网络设计中的一个重要原则：不能只看链路带宽，更要关注流量模式与拥塞控制机制的配合。后续章节中，我们将系统学习如何通过拓扑优化、流控调参、通信调度等手段解决此类问题。