第二章：集群硬件架构——GPU服务器硬件组成与网络互联
大家好，我是你们的老朋友。今天咱们聊聊集群的“骨架”——硬件架构。说实话，很多搞AI的同学，模型调得飞起，但一提到硬件就头大。我当年刚入行时也这样，直到有一次在机房看着几十台服务器点不亮，才明白硬件基础有多重要。
这一章，我会把GPU服务器的核心部件拆开揉碎了讲。你想想看，一台GPU服务器，说白了就是一台“超级计算机”。它由CPU、GPU、内存、网络这几大块组成。但怎么搭、怎么连，这里面的门道可不少。
核心观点：GPU集群的性能，不只看单卡算力，更看“互联”效率。网络拓扑选错了，再贵的卡也白搭。
2.1 GPU服务器硬件组成：CPU/GPU/内存/网络
先说说一台典型的GPU服务器长什么样。以我常用的NVIDIA DGX A100为例，它里面有8块A100 GPU、2颗AMD EPYC CPU、1TB内存，还有8个ConnectX-6网卡。嗯，这配置，当年我第一次见到时也吓了一跳。
CPU：它是“大脑”，负责调度和数据处理。我个人习惯选AMD EPYC或Intel Xeon，核心数越多越好。为什么？因为GPU要数据，CPU得喂得快。我曾经在一个项目中，CPU成了瓶颈，GPU利用率死活上不去，换了高主频CPU后，性能直接翻倍。
GPU：这是主角。NVIDIA的A100、H100、B200是主流。注意，GPU之间需要高速互联，不然数据交换会卡死。我建议至少选支持NVLink的型号。
内存：DDR5是标配，容量越大越好。但别光看容量，带宽更重要。我记得有一次，内存带宽不够，导致GPU一直在等数据，训练速度慢得像蜗牛。
网络：这是集群的“血管”。InfiniBand和RoCE是两大流派，后面细说。
我的经验：选型时，别只看GPU算力。CPU、内存、网络要匹配。否则，木桶效应会让你哭的。
2.2 NVLink与NVSwitch拓扑
好，重点来了。NVLink是NVIDIA的“独门秘籍”。它让GPU之间可以直接通信，不用经过CPU。你想想看，8块GPU要协同训练一个大模型，如果走PCIe，那带宽只有几十GB/s，根本不够用。NVLink能提供600GB/s以上的带宽，差距巨大。
NVLink拓扑：常见的有两种：
- 全互联（All-to-All）：每块GPU都和其他GPU直连。比如DGX-1，8块GPU通过NVLink形成全互联。延迟最低，但布线复杂。
- 混合立方网格（Hybrid Cube Mesh）：这是DGX A100用的。GPU之间通过NVSwitch连接，形成一个“交换机”网络。扩展性更好，但延迟稍高。
我个人更推荐NVSwitch方案。为什么？因为全互联在GPU数量多时，布线会疯掉。NVSwitch就像一个小型交换机，把GPU连成一张网。我曾经在部署DGX A100时，看着那密密麻麻的NVLink线缆，心里直发毛。还好有NVSwitch，省了不少事。
避坑指南：我曾经见过有人把NVLink和PCIe混用，结果性能还不如纯PCIe。记住，NVLink必须成对使用，且所有GPU要统一配置。
下面这张图，是我手绘的NVSwitch拓扑结构。你看，GPU通过NVLink连接到NVSwitch，NVSwitch之间再互联，形成一个“胖树”结构。这样，任意两块GPU之间的通信，最多经过两跳。
2.3 InfiniBand与RoCE网络对比
网络是集群的“血管”。选错了，数据流不动，GPU再强也没用。目前主流就两种：InfiniBand和RoCE。
InfiniBand：这是“贵族”方案。它有自己的交换机、网卡、线缆，端到端设计，延迟极低（1微秒以内）。我最早接触InfiniBand是在一个超算中心，那布线，全是光纤，看着就贵。但性能确实好，跑分布式训练时，通信开销几乎可以忽略。
RoCE：这是“平民”方案。它基于以太网，但用了RDMA技术，延迟也能做到几微秒。成本低很多，因为可以用现成的以太网交换机。我建议预算有限时选RoCE，但要注意，它对网络丢包很敏感。我曾经在一个RoCE集群上，因为交换机缓存不够，丢包率高了，性能直接腰斩。
| 特性 | InfiniBand | RoCE |
|---|---|---|
| 延迟 | ~1微秒 | ~3-5微秒 |
| 带宽 | 400Gbps+ | 100-200Gbps |
| 成本 | 高（约3-5倍） | 低 |
| 兼容性 | 专用设备 | 通用以太网 |
| 丢包敏感度 | 低（有流控） | 高（需PFC） |
我的建议：如果预算充足，且模型规模大（千卡以上），无脑选InfiniBand。如果预算有限，或者集群规模小（百卡以内），RoCE完全够用。但记得，RoCE一定要配PFC（优先级流控），否则丢包会让你崩溃。
嗯，这里要注意。RoCE虽然便宜，但调优起来很麻烦。我曾经在一个项目中，为了调RoCE的PFC参数，折腾了整整一周。而InfiniBand，开箱即用，省心很多。所以，如果你团队没有网络专家，我建议多花点钱上InfiniBand，省下的时间成本可能更值。
总结：GPU服务器硬件，CPU、GPU、内存、网络，一个都不能少。NVLink+NVSwitch是GPU互联的黄金组合。网络选型，InfiniBand省心但贵，RoCE便宜但需要调优。记住，硬件是基础，基础不牢，地动山摇。
好了，这一章就到这里。下一章，我们会聊聊集群的“软件栈”——怎么装驱动、配环境、调参数。到时候见。