3、集群硬件组成：GPU服务器、高速网络（InfiniBand/RoCE）、存储系统（NVMe/分布式存储）
3.1 核心原理：大规模GPU集群的三大硬件支柱
大规模GPU集群并非简单地将多台服务器堆叠在一起，而是由GPU服务器（算力域）、高速网络（互联域）与存储系统（数据域）三大支柱协同构成的整体。理解这三者的分工与耦合关系，是进行集群容量规划、性能调优与故障定位的基础。
GPU服务器是计算的主体，其内部不仅包含GPU加速卡，还包含CPU、主机内存、PCIe Switch、本地NVMe盘及网卡（HCA/NIC）。GPU卡通过PCIe或NVLink-C2C与CPU相连，而跨服务器通信则必须经由网卡接入外部网络。一个常见的8卡GPU服务器（如NVIDIA DGX H100或浪潮NF5688）内部拓扑可简化为：
- CPU：负责调度、数据预处理及控制面操作，通常为双路Intel Xeon或AMD EPYC。
- GPU：8颗H100/A100/H800，通过NVLink全互联或NVSwitch实现卡间高速通信（最高900GB/s）。
- 本地NVMe：用于存放临时数据、checkpoint暂存及容器镜像层，容量通常为几TB到几十TB。
- 网卡（HCA）：单端口400Gbps InfiniBand或RoCE网卡，是连接外部网络的唯一通道。
高速网络是集群的“神经系统”，决定了多机并行训练时的通信效率。当前主流方案为InfiniBand（IB）与RoCE（RDMA over Converged Ethernet）。IB网络采用专用的交换机与子网管理器（Subnet Manager），提供无损、低时延（亚微秒级）传输；RoCE则复用以太网基础设施，通过PFC（优先级流控）与ECN（显式拥塞通知）实现无损以太网，成本更低但调优复杂度更高。
存储系统负责为集群提供持久化数据访问。由于GPU显存容量有限（单卡80GB），训练数据、模型权重、日志及checkpoint必须存放在外部存储中。现代大规模集群普遍采用NVMe全闪分布式存储（如Lustre、WEKA、GPFS或CephFS），通过并行文件系统将多台存储节点的NVMe盘聚合为单一命名空间，提供数十GB/s至TB/s级聚合带宽。
关键认知：GPU集群的算力峰值（PFLOPS）只有在网络带宽与存储带宽匹配时才能转化为实际训练吞吐。例如，一个包含1024张H100的集群，若使用200Gbps IB网络，其AllReduce通信理论耗时约为使用400Gbps网络的两倍，直接导致GPU空闲等待。
3.2 方法流程：从硬件选型到集群组网的关键步骤
构建大规模GPU集群的硬件环境，通常遵循以下流程。每一步的决策都会直接影响后续的性能上限与运维复杂度。
- 算力需求分析：根据训练模型规模（参数量、Batch Size）估算GPU总卡数。例如训练一个万亿参数MoE模型，可能需要2048张H100。
- 服务器选型：确定单机GPU卡数（4卡/8卡）、GPU型号、CPU与内存配比。8卡服务器是主流，因其NVLink全互联拓扑可避免跨机通信瓶颈。
- 网络方案设计：选择IB或RoCE。若追求极致性能且预算充足，选IB（如NVIDIA Quantum-2）；若需与现有以太网融合，选RoCEv2。确定网络收敛比（通常为1:1无收敛）。
- 存储容量与带宽规划：按训练数据集大小（如TB级）、checkpoint频率（每10分钟一次，每次100GB）计算所需存储容量与带宽。公式：
所需带宽 = 数据集大小 / 目标加载时间。 - 机架与散热规划：每机架功率可达30-50kW，需采用液冷或高密度风冷方案。
实操建议：在规划网络时，务必使用ib_write_bw（IB）或perftest工具实测点对点带宽，而非仅参考理论值。实际带宽通常为线速的85%-92%。
3.3 案例/场景：一个典型256卡H100集群的硬件配置
以训练1750亿参数GPT-3级别模型为例，一个256卡H100集群的硬件清单如下表所示。该配置可支撑约3.7TB模型权重的全参数微调（使用Adam优化器时显存占用约为权重的16倍）。
| 组件 | 配置明细 | 数量 | 关键参数 |
|---|---|---|---|
| GPU服务器 | 8× H100 SXM5 + 2× Xeon 8480+ + 2TB DDR5 | 32台 | NVLink 900GB/s，PCIe Gen5 |
| IB网络 | NVIDIA Quantum-2 交换机（OSFP 400G） | 8台Leaf + 4台Spine | 无收敛，子网管理器冗余 |
| IB网卡 | ConnectX-7 单端口 400G HCA | 32张 | RDMA，GPUDirect技术 |
| 存储系统 | NVMe全闪分布式存储（Lustre） | 10个存储节点 | 聚合带宽 200GB/s，容量 1PB |
| 管理网络 | 25GbE 以太网 | 1套 | IPMI/SSH/监控流量 |
在该配置下，训练数据从存储加载到GPU显存的流程为：Lustre客户端（挂载于每台服务器）→ 本地NVMe缓存（可选）→ CPU内存 → PCIe → GPU显存。实测数据加载带宽可达150GB/s以上，不会成为训练瓶颈。
3.4 误区/复盘：硬件部署中的常见陷阱
误区一：盲目追求GPU卡数而忽略网络收敛比。若Leaf上行带宽仅为下行带宽的1/4（即4:1收敛），多机AllReduce时通信时间将增加4倍，导致GPU利用率从90%骤降至40%以下。务必保证网络无收敛或至少2:1以内。
误区二：存储系统只关注容量而忽略IOPS与元数据性能。训练任务常涉及大量小文件读取（如数据增强后的图片），若元数据服务器（MDS）性能不足，即使聚合带宽再高，也会因文件打开延迟过高而拖慢数据管道。建议使用mdtest工具预先测试元数据吞吐。
误区三：忽视NVMe本地盘与分布式存储的分工。将checkpoint直接写入分布式存储虽安全，但会占用大量网络带宽。正确做法是：先写入本地NVMe，训练间隙再异步刷入分布式存储。例如PyTorch Lightning的checkpoint_callback可配置save_last=True并配合后台线程上传。
误区四：IB网络与RoCE混用未做隔离。若同一物理网络同时承载训练流量与存储流量，需配置独立的服务等级（Service Level）或使用物理隔离的网卡端口。否则，存储突发流量可能触发PFC死锁，导致整个集群通信中断。
复盘要点：在集群硬件验收阶段，应执行三项基准测试：① all_reduce_bench验证多机通信带宽；② fio验证存储顺序/随机读写性能；③ nccl-tests验证GPU间P2P通信时延。任何一项不达标，都应优先排查硬件配置而非直接调优软件。