4. HPC集群需求分析与规格定义

建设EPYC HPC集群时，最容易犯的错误是先选服务器型号，再倒推需求。正确的顺序恰好相反：先量化业务负载对计算密度、互连带宽、存储容量、功耗预算和机房条件的要求，再让这些约束共同收敛出EPYC平台的规格。本节围绕这五个约束维度，说明它们如何相互牵制，并给出可操作的规格推导方法。

计算密度：从核数需求到机柜布局

计算密度包含两层含义：单节点算力密度和单机柜算力密度。前者决定任务能分到多少并行资源，后者决定机房能装下多少节点。以双路EPYC 9654（96核/路，共192核）为例，若某CFD作业在32核时达到并行效率拐点，则单节点可同时承载6个此类作业；若改用双路EPYC 9354（32核/路，共64核），单节点只能承载2个。核数密度差异直接改变节点数量、机柜数量和互连端口数。

计算密度还受内存带宽约束。EPYC 9004系列每路支持12通道DDR5-4800，双路理论带宽约921.6 GB/s。若应用是内存带宽敏感型（如有限元稀疏矩阵求解），单节点核数再多，内存带宽不足也会导致核等待。此时应优先选择高主频、满通道配置，而非单纯堆核。规格定义时建议按“每核可用内存带宽”作为筛选指标：带宽敏感型应用建议不低于4 GB/s每核，计算密集型可放宽至2 GB/s每核。

互连带宽：决定集群能否线性扩展

互连带宽是HPC集群与普通服务器集群的分水岭。EPYC平台通过PCIe 5.0提供每路128条通道，可支持单端口或双端口400G InfiniBand或RoCE网卡。互连规格的推导应从并行通信模式出发：MPI全局通信（Allreduce）对分带宽敏感，点对点通信对延迟敏感。若集群规模为64节点，采用胖树拓扑，建议汇聚层与接入层均按1:1收敛设计，即每节点400G上行，汇聚层无阻塞交换。

互连带宽不足的典型表现是：节点数增加后，作业运行时间不降反升。此时应检查并行效率曲线，若在32节点后效率跌破70%，说明互连或存储已成为瓶颈。规格定义阶段可用“每节点互连带宽/核数”作为参考：计算密集型建议不低于2 Gb/s每核，通信密集型建议不低于5 Gb/s每核。

存储容量：热数据带宽与冷数据容量的分层

HPC存储不能只看总容量，必须区分热数据和冷数据。热数据是计算过程中频繁读写的临时文件、检查点和中间结果，要求高IOPS和高带宽；冷数据是归档的输入数据集和最终结果，要求大容量和低成本。以64节点集群为例，若每节点本地NVMe 3.84 TB，则本地热存储约245 TB；并行文件系统建议配置不低于500 TB可用容量，元数据节点采用NVMe RAID，数据节点采用NVMe+HDD混合。热数据带宽建议按每节点不低于10 GB/s设计，否则检查点写入会成为瓶颈。

存储容量估算可采用“三倍法则”：输入数据集大小 × 3（中间文件+检查点+结果）作为热存储下限，再乘以1.5作为冷存储冗余。例如输入数据集200 TB，则热存储不低于600 TB，冷存储不低于900 TB。若预算有限，可先用并行文件系统承载热数据，冷数据用对象存储或磁带库归档。

功耗预算与机房条件：最容易被低估的硬约束

EPYC 9654的TDP为360 W，双路节点满载功耗约800–1000 W（含内存、网卡、硬盘）。若单柜部署16台2U节点，单柜功率约16 kW；若部署32台1U节点，单柜功率可达32 kW。多数传统机房单柜供电上限为8–12 kW，风冷散热上限约15 kW/柜。这意味着高密度EPYC集群往往需要液冷或后门换热器，否则必须降低单柜节点数，牺牲计算密度。

机房条件还包括承重和层高。满配EPYC节点单台约25–30 kg，42U机柜满配可达1200 kg以上，要求楼板承重不低于800 kg/m²。若机房承重不足，需采用承重架或分散部署。供电方面，建议按节点满载功耗的1.3倍配置UPS和PDU容量，并预留20%扩展余量。

五维约束的联合收敛示例

假设某高校需要建设一套用于材料计算的EPYC集群，目标支持200万原子体系的第一性原理计算。需求输入：并行作业典型规模为8节点×192核，通信模式以Allreduce为主，输入数据集约150 TB，机房可用单柜供电12 kW，风冷散热。约束传导：计算密度要求单节点192核、12通道DDR5；互连带宽要求每节点400G IB，胖树1:1收敛；存储要求热数据450 TB、冷数据700 TB；功耗预算限制单柜最多12台2U节点（约12 kW）；机房条件限制总机柜数不超过20柜。规格输出：EPYC 9654双路节点×240台，400G IB网络，并行文件系统500 TB，20柜×12节点，风冷部署。若后续需要提升密度，则必须引入液冷并将单柜功率提升至25 kW。

五个维度不是独立变量，而是相互牵制。提高计算密度会推高功耗和散热需求；提高互连带宽会增加交换机和布线成本；扩大存储容量会占用机柜空间和供电。规格定义的本质，是在这些约束之间找到满足业务需求且可落地的最优平衡点。建议在正式采购前，用一个小规模试点集群验证并行效率和功耗实测值，再据此修正规格。