4. 计算节点选型与配置

计算节点是HPC集群中真正“干活”的部分，它的选型直接决定集群的峰值算力、内存带宽、GPU通信效率和整体性价比。选型不是简单堆参数，而是围绕应用特征做匹配：应用是浮点密集还是访存密集？是CPU并行还是GPU加速？节点间通信是否频繁？只有先回答这些问题，CPU、内存、PCIe和GPU的配置才有依据。

CPU架构与核心数的取舍

当前HPC主流服务器CPU分为两大阵营：AMD EPYC（SP系列）与Intel Xeon（Scalable系列）。AMD EPYC采用Chiplet设计，单路最高可达128核，内存通道多、PCIe通道丰富，适合高密度并行计算；Intel Xeon则凭借成熟的软件生态和AMX、AVX-512等指令集，在部分科学计算和AI推理场景中仍有优势。选型时先看应用对指令集的依赖，再看核数与频率的平衡。

核心数并非越多越好。以典型的CFD或分子动力学为例，当并行规模超过一定阈值后，单核效率会因内存带宽争用而下降。经验做法是：先估算应用的内存带宽需求（GB/s），再除以单核可持续带宽，得到“带宽可支撑的核数上限”。例如某应用单核需约2 GB/s，节点内存带宽为410 GB/s（12通道DDR5-4800），则理论上限约200核，此时选择64～96核较为稳妥，留出余量给通信和系统开销。

内存通道与容量配置

内存通道数决定带宽，容量决定能装多大的问题。AMD EPYC 9004系列支持12通道DDR5，Intel第四代Xeon支持8通道DDR5。要发挥全部带宽，必须把DIMM插满所有通道，且同一通道内尽量使用相同容量和规格的内存条。常见错误是只插一半通道，导致带宽腰斩，计算性能随之下降30%以上。

容量方面，按“每核4～8 GB”估算较为通用。若节点为64核，建议256～512 GB；若涉及大规模稀疏矩阵或图计算，可提升到1 TB以上。注意：DDR5 RDIMM与3DS RDIMM在容量和价格上差异明显，3DS适合单条大容量场景，但需确认主板QVL列表支持。

PCIe拓扑与GPU加速卡选型

PCIe拓扑决定了GPU之间、GPU与网卡之间的数据通路。Supermicro GPU服务器常见两种拓扑：一是CPU直连PCIe插槽，延迟低但数量有限；二是通过PCIe Switch扩展，可支持8～10块GPU，但会引入额外跳数。对于NVIDIA NVLink/NVSwitch机型，GPU间通过NVLink互联，带宽远高于PCIe，适合模型并行和All-Reduce密集的AI训练。

GPU选型看三点：显存容量、互联带宽、生态兼容性。NVIDIA H100/H200适合大模型训练，A100仍是通用HPC主力，L40S适合推理和图形混合负载；AMD MI300系列在部分超算中已有部署，但软件栈成熟度需评估。若应用支持FP64双精度，务必确认GPU的FP64性能，消费级卡通常FP64被大幅削减，不适合科学计算。

Supermicro主板BIOS关键设置

硬件装好后，BIOS设置直接影响性能与稳定性。Supermicro H13/H12系列主板常用设置如下：

• Power Policy：设为Maximum Performance，避免CPU降频；若机房供电或散热受限，可改用Balanced。
• NUMA：保持Enabled，让操作系统感知内存局部性；若应用对NUMA不敏感且追求简单，可设Disabled，但通常不推荐。
• Memory Frequency：确认运行在最高支持频率（如DDR5-4800），若混插不同规格内存，系统会自动降频。
• PCIe AER：建议Enabled，便于发现链路错误；调试阶段可临时Disabled以排除误报。
• SR-IOV：若使用InfiniBand或高速网卡，开启SR-IOV可提升虚拟化场景性能。
• Determinism：设为Performance Deterministic，减少性能波动。

配置核对示例

以下为某双路GPU计算节点的配置核对表（示例参数，非实测）：

完成配置后，用lscpu、numactl -H、nvidia-smi topo -m核对CPU拓扑、NUMA节点和GPU互联关系，确认与设计一致。若发现GPU落在错误的NUMA节点或PCIe链路降速，需回到BIOS或插槽规划重新调整。选型与配置的最终目标，是让每一分硬件投入都能转化为应用的实际吞吐。