3. 大内存计算平台的内存层级与介质选型
在 EPYC 大内存平台上,容量规划的第一步不是算“要插多少条”,而是先判断“该用哪一类内存介质”。EPYC 的 Infinity Fabric 把 CPU 核心、IOD、内存控制器和 PCIe 连成一体,内存控制器直接决定支持哪种 DIMM 形态、每通道能挂几条、最高能跑到什么速率。选错介质,后面再精细的容量计算也会被推翻。
先看层级:从寄存器到 DRAM 颗粒
服务器内存并不是“一根条子”这么简单,它内部有清晰的层级。以 RDIMM 为例,CPU 内存控制器发出地址/命令/数据信号,先经过 DIMM 上的 RCD(寄存器时钟驱动器)和 DB(数据缓冲),再到达 DRAM 颗粒。RDIMM 只缓冲地址、命令和时钟,数据线仍直连颗粒;LRDIMM 则把数据线也通过 DB 缓冲,因此单条可以堆更多 rank 而不显著增加控制器负载。3DS RDIMM 是在封装层面把多颗 DRAM die 垂直堆叠,用 TSV 硅通孔连接,等效于把多个 rank 塞进同一封装高度,从而在有限插槽内提升单条容量。
理解这个层级,才能理解为什么“同样 64GB,RDIMM 和 LRDIMM 的电气负载不同”。RDIMM 每条通常 1~2 rank,LRDIMM 可做到 4 rank 甚至 8 rank,3DS RDIMM 则常见 2H/4H/8H 堆叠。rank 越多,单条容量越大,但控制器需要驱动的负载也越重,速率往往要相应下调。
DDR4 与 DDR5:不只是代际差
DDR4 在 EPYC 7002/7003 上成熟稳定,1.2V 供电,常见速率 2933/3200 MT/s,单条容量以 32GB、64GB 为主,128GB 的 3DS RDIMM 也已量产。DDR5 从 EPYC 9004 开始引入,1.1V,起跳 4800 MT/s,单条容量从 32GB 到 256GB 不等,且每条 DIMM 内部拆成两个 32-bit 子通道,等效通道数翻倍。这意味着 DDR5 平台在相同插槽数下,带宽和容量上限都更高,但代价是内存控制器和主板布线更复杂,早期 DDR5 的 2DPC 降速也更明显。
选型时不要只看“DDR5 更快”。如果业务是内存数据库,容量优先,DDR4 的 128GB 3DS RDIMM 在 2DPC 下可能比 DDR5 的 64GB 更划算;如果业务是高频交易或实时分析,DDR5 的带宽优势才真正兑现。EPYC 的 12 通道设计让“通道数 × 单条容量”成为容量上限的核心公式,DDR5 每通道两个子通道,实际并发粒度更细,对 NUMA 敏感的负载也更友好。
RDIMM、LRDIMM、3DS RDIMM 的取舍
RDIMM 是最通用的选择:延迟最低、成本最低、兼容性最好,适合 1DPC 或 2DPC 下 rank 数不高的场景。LRDIMM 通过数据缓冲把电气负载从控制器上卸下来,让单条可以做到 4 rank 甚至 8 rank,适合“插槽有限但容量要求极高”的节点。3DS RDIMM 则是在 RDIMM 基础上做 die 堆叠,单条容量可以做到 128GB、256GB,同时保持相对较低的 rank 负载,是当前大内存 EPYC 平台最常用的高容量介质。
一个常见的误区是“LRDIMM 一定比 RDIMM 慢”。实际上,LRDIMM 的缓冲会引入少量延迟,但在高 rank 配置下,它反而能让控制器以更稳定的时序运行,避免因负载过重而降速。真正决定性能的是“最终稳定速率”和“实际 rank 数”,而不是介质名称本身。
持久内存:容量层的另一种思路
持久内存(如 Intel Optane PMem,在部分 EPYC 平台通过特定配置支持)把 DRAM 的速度和非易失性结合,提供 Memory Mode 和 App Direct 两种模式。Memory Mode 下,DRAM 作为缓存,持久内存作为大容量主存,系统看到的容量是持久内存的总量,适合内存数据库、虚拟化等“容量敏感、延迟可容忍”的场景。App Direct 则把持久内存当作可字节寻址的持久存储,应用直接访问,适合需要持久化数据结构的场景。
但持久内存的选型必须确认平台支持:EPYC 的 BIOS、内存控制器固件和操作系统都要配合,且通常需要特定型号的 DIMM。容量规划时,Memory Mode 的“可见容量”不等于“可用带宽”,因为 DRAM 缓存命中率会直接影响性能,必须按业务访问局部性来估算。
选型决策表
下面这张表把常见场景和推荐介质对应起来,参数为示例性建议,实际以主板 QVL 和 BIOS 支持为准。
| 场景 | 推荐介质 | 典型单条容量 | 速率取向 | 关键注意 |
|---|---|---|---|---|
| 通用虚拟化 / 1DPC | DDR4 RDIMM | 32~64GB | 3200 MT/s | 优先保速率,rank 控制在 2 以内 |
| 大内存数据库 / 2DPC | DDR4 3DS RDIMM | 128GB | 2933~3200 MT/s | 确认 BIOS 支持 3DS,2DPC 可能降速 |
| 高带宽分析 / 新平台 | DDR5 RDIMM | 32~64GB | 4800~5600 MT/s | 利用双子通道,注意 2DPC 降速 |
| 插槽受限 / 超大容量 | DDR5 3DS RDIMM 或 LRDIMM | 128~256GB | 按 QVL 稳定值 | 核对每通道 rank 上限和供电 |
| 持久化内存池 | 持久内存 + DRAM | 按模块容量 | Memory Mode 看缓存命中 | 需平台固件与 OS 双重支持 |
最后提醒一点:EPYC 的 12 通道必须成组使用,缺通道会直接损失带宽。容量规划时,先把“每通道插几条、每条多大、什么介质”这三件事定下来,再进入下一步的 NUMA 与内存交织配置。介质选型是地基,地基不稳,后面的容量数字再漂亮也没有意义。