AI算力集群概述：集群组成、节点类型、网络拓扑、存储架构

在开始搭建GPU数据中心AI算力集群之前，必须先建立对集群整体架构的清晰认知。AI算力集群不是简单地把多台GPU服务器堆叠在一起，而是一个由计算、网络、存储、管理四大子系统紧密耦合的复杂系统。本章从集群的物理组成出发，逐一拆解节点角色、网络拓扑与存储架构，为后续章节的硬件选型、软件部署和性能调优奠定基础。

3.1 集群的四大子系统

一个完整的AI算力集群，从功能维度可以划分为以下四个子系统，它们各自承担不同职责，又相互依赖：

子系统	核心组件	主要职责	典型瓶颈
计算子系统	GPU服务器、CPU、HBM显存	执行矩阵运算、张量计算、模型训练/推理	GPU利用率、显存容量、PCIe带宽
网络子系统	交换机、网卡（NIC）、光模块、线缆	节点间通信、梯度同步、数据分发	网络带宽、时延、拥塞控制
存储子系统	并行文件系统、NVMe盘阵、对象存储	数据集存放、检查点保存、日志记录	IOPS、聚合带宽、元数据性能
管理子系统	登录节点、调度器、监控平台	作业调度、用户管理、健康监测	调度效率、单点故障

这四大子系统并非孤立存在。计算节点通过高速网络访问存储系统中的数据集，训练过程中产生的梯度数据又通过网络在节点间同步；管理节点则负责协调所有资源的分配与监控。任何一个子系统的短板，都会成为整个集群性能的天花板。

3.2 节点类型与角色划分

在物理部署上，集群由多种不同角色的节点组成。理解每种节点的硬件配置和功能定位，是规划集群规模与预算的前提。

3.2.1 登录节点（Login Node）

登录节点是用户进入集群的入口，通常配置双路CPU、256GB以上内存，但不安装GPU。用户在此节点进行代码编辑、作业提交、数据上传等操作。登录节点需要承受大量用户的并发SSH连接，因此对CPU主频和网络带宽有一定要求，但对GPU无需求。

3.2.2 计算节点（Compute Node）

计算节点是集群的核心，按用途可进一步细分：

训练节点：搭载8张GPU卡（如NVIDIA H800/A800），配备高功率电源（3000W以上）和液冷或强风冷散热。训练节点之间需要最高速的网络互联（如InfiniBand NDR 400Gbps）。
推理节点：GPU配置相对较低（如4张L40S或A10），对网络带宽要求低于训练节点，但需要更低的推理时延。
通用计算节点：用于数据预处理、模型转换等CPU密集型任务，通常不配GPU或仅配1张低端GPU。

3.2.3 存储节点（Storage Node）

存储节点独立于计算节点部署，运行并行文件系统（如Lustre、BeeGFS、WEKA）。每个存储节点配置多块NVMe SSD（通常12-24块），通过高速网卡接入集群网络。存储节点的数量决定了集群的聚合存储带宽。

3.2.4 管理/调度节点（Management Node）

运行Slurm或Kubernetes等调度器，以及集群监控系统（如Prometheus + Grafana）。通常采用双机热备部署，避免单点故障。管理节点对硬件要求不高，但需要高可用设计。

规划建议：在集群规模较小时（如少于32个计算节点），可将登录节点与管理节点合并部署。但当计算节点超过64个后，务必分离登录、调度、存储角色，否则管理面流量会干扰计算网络的稳定性。

3.3 网络拓扑：从千兆到InfiniBand

网络是AI集群中最容易成为瓶颈的子系统。一个典型的AI集群网络分为三个平面：

管理网络（1Gbps/10Gbps以太网）：连接所有节点的IPMI/BMC管理口，用于带外监控和固件管理。
业务网络（25Gbps/100Gbps以太网）：承载数据上传、作业提交、存储访问等常规流量。
计算网络（InfiniBand或RoCEv2）：专用于GPU之间的梯度同步和集合通信，是训练性能的关键。

计算网络的拓扑结构直接决定了集群的扩展能力。最常见的两种拓扑如下：

3.3.1 Fat-Tree（胖树）拓扑

胖树拓扑是中小型集群（128-512个GPU）的主流选择。其核心思想是通过多台核心交换机提供无阻塞转发能力。以三层胖树为例：

GPU节点（8卡） →  Leaf交换机（40/400Gbps） →  Spine交换机（核心层）
每个Leaf下行连接8-16个节点，上行连接所有Spine
Spine数量 = Leaf数量（保证1:1无收敛）

胖树拓扑的优点是带宽可控、故障域隔离清晰，缺点是线缆数量多、成本较高。

3.3.2 Dragonfly+（蜻蜓）拓扑

当集群规模超过1000个GPU时，胖树所需的交换机端口和光模块数量急剧膨胀，此时Dragonfly+拓扑更为合适。它将节点分组为“群组”（Group），组内全连接，组间通过少量全局链路互联。这种拓扑大幅减少了长距离光缆数量，但路由算法更复杂，对交换机的智能路由能力要求更高。

  选型判断：对于单集群不超过512个GPU的场景，优先选择Fat-Tree + InfiniBand NDR，成熟稳定且生态完善。若规划超过1000个GPU，则需评估Dragonfly+方案，并考虑与云厂商或硬件厂商联合设计。

3.4 存储架构：分层与并行

AI训练对存储的需求呈现明显的“热-温-冷”分层特征。一个合理的存储架构通常包含三个层级：

层级	介质	容量/性能	典型用途
热数据层	NVMe SSD（本地盘或并行文件系统）	TB级，单节点读写 > 5GB/s	当前训练数据集、检查点临时写入
温数据层	SATA SSD / 高性能HDD阵列	PB级，聚合带宽 > 20GB/s	历史数据集、模型仓库、日志
冷数据层	对象存储（Ceph、MinIO）或磁带库	数十PB，吞吐要求低	归档数据、备份、合规留存

在具体实现上，并行文件系统是AI集群存储的核心。以Lustre为例，其架构包含元数据服务器（MDS）、对象存储服务器（OSS）和客户端三部分。数据被条带化分布到多个OSS上，客户端可并行读写，从而突破单机存储瓶颈。

典型Lustre部署（100GB/s聚合带宽）：
- 2台MDS（双机热备），管理所有文件元数据
- 8台OSS，每台配置12块NVMe SSD（单台约6GB/s）
- 客户端通过InfiniBand或RoCE挂载，默认条带数=4

常见误区：不要将所有数据都放在并行文件系统上。检查点文件（Checkpoint）频繁写入，应使用计算节点本地NVMe盘暂存，训练完成后再异步转存至并行文件系统。否则，大量小文件写入会拖垮元数据服务器的性能。

3.5 案例：一个128卡训练集群的组成

以一个典型的128卡（16个计算节点，每节点8卡）AI训练集群为例，其完整组成如下：

计算节点：16台，每台2颗Intel Xeon 8480+ CPU，8张NVIDIA H800 GPU，2TB内存，4块3.84TB NVMe本地盘。
登录/管理节点：2台（双机热备），配置双路CPU、512GB内存，不配GPU。
存储节点：4台，每台配置12块7.68TB NVMe SSD，运行BeeGFS并行文件系统，提供约30GB/s聚合读写带宽。
网络设备：2台Spine交换机（InfiniBand NDR 64端口），8台Leaf交换机（每台连接2个计算节点），管理网络采用千兆以太网交换机。
辅助设施：机柜（6个42U标准机柜）、精密空调（单柜散热能力≥30kW）、UPS电源（支持满负荷运行15分钟）。

该集群可支撑175B参数规模的大语言模型全参数微调，或千亿级模型的LoRA/QLoRA微调。在数据并行（Data Parallelism）模式下，训练吞吐量可达每秒处理约5000个token（基于GPT-3架构）。

3.6 常见误区与复盘

在规划AI集群时，以下问题反复出现在实际项目中，值得特别警惕：

误区一：重计算、轻网络。部分团队为了节省预算，将计算网络从InfiniBand降级为RoCEv2，甚至使用100G以太网。在128卡规模下，这可能导致多节点训练效率下降30%-50%。梯度同步的通信量随GPU数量线性增长，网络带宽不足时，GPU只能空转等待数据。

误区二：存储容量与带宽混为一谈。购买了PB级大容量存储，但聚合带宽只有5GB/s。当所有计算节点同时读取数据集时，存储成为瓶颈，GPU利用率跌至40%以下。规划时应先计算带宽需求（每GPU至少1GB/s读取带宽），再反推存储节点数量。

误区三：忽略管理网络的可靠性。管理网络使用普通千兆交换机且无冗余链路，一旦交换机故障，所有节点的带外管理失效，无法远程重启或查看硬件状态。管理网络虽然流量小，但必须采用双链路冗余设计。

复盘一个真实案例：某团队部署了64卡集群，使用RoCEv2网络，训练GPT-2模型时发现多节点扩展效率仅为60%。排查后发现，RoCEv2依赖无损以太网，但交换机未开启PFC（优先级流控）和ECN（显式拥塞通知），导致丢包重传严重。开启PFC/ECN并调整流控阈值后，扩展效率提升至85%。这说明网络调优与硬件选型同等重要。