4. 服务器硬件规划与选型

在虚拟化计算平台中,服务器硬件选型不是“堆高配”,而是围绕虚拟机密度、内存带宽和存储 IOPS 三条主线做匹配。EPYC 平台的核心优势在于单路即可提供高核心数、大内存通道和充足 PCIe 通道,因此选型时应先确定目标负载画像,再反推 CPU 型号、主板形态、内存配置、网卡与 NVMe 方案。

一、从虚拟机密度反推 CPU 与内存基线

假设某节点规划承载 60 台通用业务虚拟机,单台 vCPU 平均 4 核、超分比 1.5:1,则所需物理核心数约为 60×4÷1.5=160 核。考虑虚拟化层与突发余量,建议物理核心数不低于 192 核。此时可选用 EPYC 9004 系列中 192 核型号,或双路 96 核型号。单路 192 核方案在 NUMA 结构上更简单,适合对延迟敏感的业务;双路方案则在内存扩展和故障域隔离上更灵活。

内存方面,若单台虚拟机平均分配 16GB,60 台即 960GB,加上虚拟化层预留约 64GB,建议配置 1TB 以上。EPYC 9004 单路支持 12 通道 DDR5,若选用 64GB RDIMM,插满 12 条可得 768GB;若选用 128GB RDIMM,插满 12 条可得 1.5TB。为满足内存带宽需求,应尽量插满所有通道,而不是用少数大容量内存条凑容量。例如 1.5TB 由 12×128GB 组成,带宽远高于 6×256GB 方案。

EPYC 虚拟化节点硬件选型关系图 需求输入 虚拟机密度 60 台 / 4 vCPU 内存带宽 12 通道 DDR5 存储 IOPS ≥ 50 万随机读 网络吞吐 25/100 GbE PCIe 扩展 Gen5 ×128 选型决策 CPU:EPYC 9004 单路 192 核 或双路 96 核,按 NUMA 敏感度选择 内存:12×128GB DDR5 RDIMM 插满 12 通道,容量 1.5TB,带宽优先 主板:单路 SP5 服务器主板 支持 12 通道、4×PCIe Gen5 ×16 网卡:双口 100GbE + 双口 25GbE 业务/存储/管理分离,支持 SR-IOV NVMe:4×3.84TB PCIe Gen5 RAID10 或 vSAN 缓存层,满足 IOPS 输出结果 物理核心 192 超分比 1.25:1 内存 1.5TB 带宽约 460 GB/s 存储 IOPS 4×NVMe ≈ 100 万 网络带宽 200 GbE 上行 扩展余量 2×PCIe 空闲

二、内存带宽与通道配置

虚拟化场景中,内存带宽往往比容量更早成为瓶颈。EPYC 9004 每通道 DDR5-4800 理论带宽约 38.4GB/s,12 通道合计约 460GB/s。若只插 6 条内存,带宽直接减半,即使容量够用,多虚拟机并发时也会出现明显延迟。因此选型原则是:先保证通道数插满,再考虑单条容量。对于 60 台虚拟机的节点,建议 12 通道全部占用,单条 128GB,总容量 1.5TB,既满足容量又跑满带宽。

如果预算受限,可退而选择 12×64GB=768GB,但需重新核算虚拟机密度。按每台 12GB 计算,60 台需 720GB,加上虚拟化层 48GB,768GB 刚好够用,但余量很小,不适合后续扩容。此时可把密度降到 50 台,或改用 96 核 CPU 降低单节点负载。

三、存储 IOPS 与 NVMe 选型

存储侧先算 IOPS 需求。假设 60 台虚拟机中 40 台为通用业务,每台随机读 2000 IOPS;20 台为数据库类,每台随机读 8000 IOPS,则总需求为 40×2000+20×8000=240000 IOPS。考虑峰值系数 1.5,目标 IOPS 约 36 万。单块 PCIe Gen5 NVMe 随机读可达 25 万 IOPS 以上,因此 2 块做 RAID1 即可满足读性能,但写性能和冗余不足。建议 4 块 3.84TB NVMe 做 RAID10,可用容量约 7.68TB,随机读约 50 万 IOPS,随机写约 20 万 IOPS,兼顾性能与安全。

若采用 vSAN 或分布式存储,NVMe 角色需区分缓存层与容量层。缓存层选高耐久、高随机写型号,容量层选大容量、成本较低型号。例如 2×1.92TB 缓存 + 4×3.84TB 容量,缓存层承担写入缓冲,容量层提供实际空间。

四、网卡与主板匹配

网卡选型要与业务流量分离。建议配置双口 100GbE 用于业务和 vMotion,双口 25GbE 用于管理和存储。若使用 RoCEv2 或 SR-IOV,需确认网卡和主板 BIOS 支持 ACS 与 ARI。主板方面,单路 SP5 主板通常提供 4 个 PCIe Gen5 ×16 插槽,可分配 1 个给 100GbE 网卡、1 个给 NVMe 扩展卡、1 个给 RAID 卡或 HBA,剩余 1 个预留。若选用双路主板,PCIe 插槽更多,但 NUMA 跨节点延迟需在虚拟机编排时注意绑定。

选型核对要点:CPU 核心数 ≥ 虚拟机总 vCPU ÷ 超分比 × 1.2;内存插满所有通道,容量 ≥ 虚拟机总内存 + 虚拟化层预留;NVMe 随机读 IOPS ≥ 峰值需求 × 1.5;网卡至少双口 25GbE,业务与存储分离;主板 PCIe 插槽数 ≥ 网卡 + NVMe 扩展 + 预留 1 个。

五、示例配置清单

部件选型关键参数匹配依据
CPUEPYC 9004 单路 192 核192C/384T,2.4GHz 基准60 台×4 vCPU÷1.5≈160 核,留余量
内存12×128GB DDR5 RDIMM4800MT/s,12 通道容量 1.5TB,带宽约 460GB/s
主板单路 SP5 服务器主板4×PCIe Gen5 ×16,12 通道支持满通道内存与多扩展卡
网卡双口 100GbE + 双口 25GbESR-IOV、RoCEv2业务/存储/管理分离
NVMe4×3.84TB PCIe Gen5随机读 25 万 IOPS/块RAID10 后约 50 万 IOPS

该配置在示例假设下可承载 60 台通用虚拟机,CPU 超分比约 1.25:1,内存带宽和存储 IOPS 均留有 30% 以上余量。实际采购前,应使用厂商兼容性列表核对内存、NVMe 和网卡型号,并在 BIOS 中开启 NUMA、SR-IOV 和 Above 4G Decoding,确保虚拟化平台能正确识别全部资源。