3. 集群需求分析与方案设计

集群方案设计最容易犯的错误,是先选机型再找理由。正确的顺序恰好相反:先把应用负载翻译成可量化的资源需求,再让计算、存储、网络、功耗、散热和预算六类约束互相校验,最后才落到具体型号与数量。本节以“某高校材料计算课题组要建一套 8 节点 CPU 集群”为例,走完从负载画像到初步配置清单的完整推导过程。所有参数均为教学示例,不代表任何实测结果。

第一步:把应用负载翻译成资源画像

需求分析的起点不是“要多少核”,而是“跑什么、跑多久、瓶颈在哪”。需要向用户确认四类信息:应用类型(VASP、Gaussian、LAMMPS、OpenFOAM、TensorFlow 等)、并行方式(MPI 跨节点、OpenMP 单节点多线程、GPU 加速)、单作业规模(核数、内存、时长)、并发作业数。以材料计算为例,典型画像是:VASP 单作业 32~64 核、每核 2~4 GB 内存、单作业 6~24 小时;LAMMPS 可扩展到 128 核以上但强依赖低延迟网络;同时在线作业约 4~6 个。

把画像折算成集群总量:若峰值并发 6 个作业、平均每作业 48 核,则需约 288 个物理核。考虑超线程与调度碎片,按 1.3 倍冗余取整,得到约 384 核,即 8 台双路 24 核节点(8×2×24=384)。内存按每核 4 GB 计,单节点 24×2×4=192 GB,取 256 GB 留出余量。这一步产出的不是型号,而是“384 核 / 2 TB 内存 / 8 节点”这样的量化目标。

第二步:六类约束的相互牵制

计算、存储、网络、功耗、散热、预算并非独立,而是彼此牵制。下图给出本节示例的约束推导关系:从负载画像出发,逐层确定计算与内存、存储容量与带宽、网络拓扑与延迟,再向下约束机柜功耗、散热方式与预算上限,任一环节超标都要回退调整。

从应用负载到初步配置的约束推导链 应用负载画像 VASP / LAMMPS / MPI 峰值并发 6 作业 计算与内存 384 核 / 8 节点 256 GB/节点 存储 并行文件系统 ≥ 60 TB 可用 / 25 GB/s 网络 100G IB / RoCE 延迟 < 2 μs 功耗约束 单节点满载 ≈ 900 W(含 CPU/内存/网卡) 8 节点 + 存储 + 交换 ≈ 9.5 kW 散热约束 风冷可支撑 ≤ 12 kW/柜 机房冷量需 ≥ 12 kW 冗余 预算约束 示例上限 180 万元(含三年维保) 超标回退 散热不足回退 预算超限回退

图中红色虚线表示回退路径:当功耗超过机柜或机房能力、散热无法满足、预算超限时,必须回到计算或存储层重新裁剪规模,而不是硬性堆配置。例如 8 节点满载 9.5 kW 若与机房现有冷量冲突,可先降到 6 节点并提高单节点核数,或改用更高能效比的处理器。

第三步:存储与网络的量化方法

存储需求分容量与带宽两条线。容量按“输入数据 + 中间文件 + 结果 + 用户配额”估算:材料计算单作业输入约 5~20 GB,中间 WAVECAR/CHGCAR 可达 100 GB 以上,结果约 10 GB。若同时 6 作业、每作业峰值占用 150 GB,则热数据约 900 GB;再考虑 30 天滚动保留与用户目录,取 60 TB 可用容量较为稳妥。带宽方面,VASP 对存储 IO 要求中等,但 LAMMPS 重启文件写入频繁,建议并行文件系统聚合带宽不低于 25 GB/s,可用 8 块 NVMe 做元数据加速、12 块 SATA SSD 做数据盘来估算。

网络选择取决于并行跨节点程度。若作业以单节点 48 核为主,千兆以太网即可;若 LAMMPS 常跨 4 节点以上,则 100G InfiniBand 或 RoCE 的低延迟(<2 μs)能显著减少 MPI 通信等待。示例采用 100G IB,配一台 36 端口交换机,8 节点各占 1 口,剩余端口留给存储与管理网。

第四步:功耗、散热与预算的核算

功耗按“节点满载 + 存储 + 网络 + 冗余”估算。示例单节点双路 24 核 CPU、256 GB 内存、单口 100G 网卡,满载约 900 W;8 节点 7.2 kW,存储 1.2 kW,交换机 0.6 kW,合计约 9.0 kW,取 9.5 kW 留余量。散热按风冷 12 kW/柜上限判断,9.5 kW 可单柜部署,但需确认机房冷量冗余不低于 12 kW。预算按节点、存储、网络、机柜、维保五项拆分,示例上限 180 万元,其中计算节点约占 60%、存储 20%、网络 10%、机柜与维保 10%。

第五步:输出初步配置清单

综合以上推导,形成如下初步配置清单(示例,非实测):

类别配置项数量关键参数约束依据
计算节点双路 24 核 CPU / 256 GB / 2×480 GB SSD8384 核,2 TB 内存峰值并发 6 作业 × 48 核 × 1.3 冗余
管理节点单路 16 核 / 64 GB / 2×960 GB SSD1调度、监控、登录Slurm + 监控服务
存储并行文件系统,12×8 TB SATA SSD + 8×1.6 TB NVMe1 套可用 ≥ 60 TB,带宽 ≥ 25 GB/s6 作业 × 150 GB 热数据 + 30 天保留
网络100G IB 交换机 36 端口 + HCA1 + 8延迟 < 2 μsLAMMPS 跨节点 MPI
功耗散热单柜部署,风冷1 柜≈ 9.5 kW,冷量冗余 ≥ 12 kW风冷 ≤ 12 kW/柜
预算含三年维保—≤ 180 万元计算 60% / 存储 20% / 网络 10% / 其他 10%
清单只是“初步”的,落地前还需用真实作业做一次小规模基准测试(如 2 节点跑 VASP 与 LAMMPS),核对实际内存占用、MPI 扩展效率和存储 IO,再微调节点数与存储配比。需求分析的价值不在于一次算准,而在于把“拍脑袋选型”变成“有依据可回退”的推导过程。