4. 服务器硬件规划与选型
在虚拟化计算平台中,服务器硬件选型不是“堆高配”,而是围绕虚拟机密度、内存带宽和存储 IOPS 三条主线做匹配。EPYC 平台的核心优势在于单路即可提供高核心数、大内存通道和充足 PCIe 通道,因此选型时应先确定目标负载画像,再反推 CPU 型号、主板形态、内存配置、网卡与 NVMe 方案。
一、从虚拟机密度反推 CPU 与内存基线
假设某节点规划承载 60 台通用业务虚拟机,单台 vCPU 平均 4 核、超分比 1.5:1,则所需物理核心数约为 60×4÷1.5=160 核。考虑虚拟化层与突发余量,建议物理核心数不低于 192 核。此时可选用 EPYC 9004 系列中 192 核型号,或双路 96 核型号。单路 192 核方案在 NUMA 结构上更简单,适合对延迟敏感的业务;双路方案则在内存扩展和故障域隔离上更灵活。
内存方面,若单台虚拟机平均分配 16GB,60 台即 960GB,加上虚拟化层预留约 64GB,建议配置 1TB 以上。EPYC 9004 单路支持 12 通道 DDR5,若选用 64GB RDIMM,插满 12 条可得 768GB;若选用 128GB RDIMM,插满 12 条可得 1.5TB。为满足内存带宽需求,应尽量插满所有通道,而不是用少数大容量内存条凑容量。例如 1.5TB 由 12×128GB 组成,带宽远高于 6×256GB 方案。
二、内存带宽与通道配置
虚拟化场景中,内存带宽往往比容量更早成为瓶颈。EPYC 9004 每通道 DDR5-4800 理论带宽约 38.4GB/s,12 通道合计约 460GB/s。若只插 6 条内存,带宽直接减半,即使容量够用,多虚拟机并发时也会出现明显延迟。因此选型原则是:先保证通道数插满,再考虑单条容量。对于 60 台虚拟机的节点,建议 12 通道全部占用,单条 128GB,总容量 1.5TB,既满足容量又跑满带宽。
如果预算受限,可退而选择 12×64GB=768GB,但需重新核算虚拟机密度。按每台 12GB 计算,60 台需 720GB,加上虚拟化层 48GB,768GB 刚好够用,但余量很小,不适合后续扩容。此时可把密度降到 50 台,或改用 96 核 CPU 降低单节点负载。
三、存储 IOPS 与 NVMe 选型
存储侧先算 IOPS 需求。假设 60 台虚拟机中 40 台为通用业务,每台随机读 2000 IOPS;20 台为数据库类,每台随机读 8000 IOPS,则总需求为 40×2000+20×8000=240000 IOPS。考虑峰值系数 1.5,目标 IOPS 约 36 万。单块 PCIe Gen5 NVMe 随机读可达 25 万 IOPS 以上,因此 2 块做 RAID1 即可满足读性能,但写性能和冗余不足。建议 4 块 3.84TB NVMe 做 RAID10,可用容量约 7.68TB,随机读约 50 万 IOPS,随机写约 20 万 IOPS,兼顾性能与安全。
若采用 vSAN 或分布式存储,NVMe 角色需区分缓存层与容量层。缓存层选高耐久、高随机写型号,容量层选大容量、成本较低型号。例如 2×1.92TB 缓存 + 4×3.84TB 容量,缓存层承担写入缓冲,容量层提供实际空间。
四、网卡与主板匹配
网卡选型要与业务流量分离。建议配置双口 100GbE 用于业务和 vMotion,双口 25GbE 用于管理和存储。若使用 RoCEv2 或 SR-IOV,需确认网卡和主板 BIOS 支持 ACS 与 ARI。主板方面,单路 SP5 主板通常提供 4 个 PCIe Gen5 ×16 插槽,可分配 1 个给 100GbE 网卡、1 个给 NVMe 扩展卡、1 个给 RAID 卡或 HBA,剩余 1 个预留。若选用双路主板,PCIe 插槽更多,但 NUMA 跨节点延迟需在虚拟机编排时注意绑定。
五、示例配置清单
| 部件 | 选型 | 关键参数 | 匹配依据 |
|---|---|---|---|
| CPU | EPYC 9004 单路 192 核 | 192C/384T,2.4GHz 基准 | 60 台×4 vCPU÷1.5≈160 核,留余量 |
| 内存 | 12×128GB DDR5 RDIMM | 4800MT/s,12 通道 | 容量 1.5TB,带宽约 460GB/s |
| 主板 | 单路 SP5 服务器主板 | 4×PCIe Gen5 ×16,12 通道 | 支持满通道内存与多扩展卡 |
| 网卡 | 双口 100GbE + 双口 25GbE | SR-IOV、RoCEv2 | 业务/存储/管理分离 |
| NVMe | 4×3.84TB PCIe Gen5 | 随机读 25 万 IOPS/块 | RAID10 后约 50 万 IOPS |
该配置在示例假设下可承载 60 台通用虚拟机,CPU 超分比约 1.25:1,内存带宽和存储 IOPS 均留有 30% 以上余量。实际采购前,应使用厂商兼容性列表核对内存、NVMe 和网卡型号,并在 BIOS 中开启 NUMA、SR-IOV 和 Above 4G Decoding,确保虚拟化平台能正确识别全部资源。