3. GPU集群概述：集群组成、典型拓扑、应用场景

3.1 从单卡到集群：为什么需要GPU集群

单张GPU的计算能力再强，也无法独立支撑大语言模型训练或大规模科学模拟。以GPT-4级别模型为例，其参数量超过万亿，训练数据量达数十TB，单卡显存容量（H100为80GB）与算力（约989 TFLOPS FP16）远不足以在合理时间内完成训练。GPU集群的本质，是将数百至数万张GPU通过高速网络互连，形成一台“超级计算机”，通过并行计算将训练时间从数十年压缩到数周甚至数天。

集群设计面临的核心矛盾是：算力增长远快于网络带宽增长。GPU每两年算力翻倍，而网络带宽仅增长约1.2倍。因此，集群拓扑结构、网络协议选择（IB vs RoCE）、通信库优化（NCCL）共同决定了多卡协同时的实际效率。一个设计不良的集群，即使GPU规格再高，也可能因网络瓶颈将整体利用率拉低至30%以下。

3.2 集群组成：五大子系统

一个完整的GPU集群并非只是GPU服务器的堆叠，而是由五大子系统协同构成的复杂工程系统。下表概括了各子系统的核心职责与关键组件：

其中，网络子系统是GPU集群区别于普通服务器集群的核心。AI训练中，GPU之间需要频繁同步梯度（AllReduce操作），每次迭代都要交换全量模型梯度数据。以1万张H100训练万亿参数模型为例，每轮迭代的梯度数据量可达数十GB，网络必须提供足够的二分带宽（Bisection Bandwidth）才能避免通信成为瓶颈。

3.3 典型拓扑：从两级到多维

GPU集群的网络拓扑决定了数据从任意GPU到另一GPU的路径长度与带宽。当前主流拓扑可分为以下三种，各有适用场景：

实际大规模集群常采用混合拓扑：在单个机柜内使用NVSwitch实现GPU全互连（NVLink域），机柜间使用Fat-Tree或Dragonfly+。例如NVIDIA DGX SuperPOD采用两级Fat-Tree，而Frontier超算则采用Dragonfly+变体。选择拓扑时需综合考虑通信模式、成本与可扩展性。

3.4 应用场景一：AI训练集群

AI训练集群以数据并行为主要并行策略，辅以张量并行、流水线并行。其通信特征表现为：

• 周期性AllReduce：每个训练步（iteration）结束时，所有GPU需同步梯度，产生全局通信流量。
• 通信量随模型增大而增长：模型参数越多，梯度同步数据量越大。
• 对带宽极度敏感：AllReduce的完成时间直接决定训练步耗时。

NVIDIA官方推荐的AI训练集群参考架构为DGX SuperPOD：以128台DGX H100服务器（共1024张GPU）为一个基本单元，采用两级Fat-Tree拓扑，Spine层使用IB交换机提供无阻塞带宽。该架构可线性扩展至万卡规模，NCCL通信效率保持在90%以上。

3.5 应用场景二：HPC集群

HPC（高性能计算）集群面向科学计算，如气象模拟、分子动力学、流体力学、量子化学等。与AI训练相比，HPC应用具有显著不同的通信特征：

HPC集群通常采用Dragonfly+或3D Torus拓扑，以降低网络直径和时延。例如Frontier超算（橡树岭国家实验室）采用HPE Slingshot网络（Dragonfly拓扑），连接37,888张AMD MI250X GPU，实现1.1 Exaflops FP64算力。HPC集群对IB网络的需求更强调低时延而非纯粹的大带宽，因此常启用自适应路由和拥塞控制功能。

3.6 集群设计误区与复盘

3.7 集群规模估算方法

规划GPU集群时，需根据训练任务需求估算规模。以下为简化估算流程：

估算公式：
总GPU数 = (模型参数量 × 训练Token数 × 6) / (单卡吞吐 × 目标天数 × 利用率)

示例：训练175B参数模型，2TB Token数据
单卡吞吐 = 400 TFLOPS（H100 FP16）
目标天数 = 30天，利用率 = 50%
总GPU数 = (175e9 × 2e12 × 6) / (400e12 × 30×86400 × 0.5)
        ≈ 2.1e24 / 5.18e20 ≈ 4050 张

实际规划还需考虑：梯度同步额外开销（约5%~10%）、检查点写入时间、故障恢复冗余（通常预留10%算力）、扩展效率损失（千卡以上每翻倍损失约5%）。综合估算后，建议预留20%~30%的算力余量。