3. 大内存计算平台的内存层级与介质选型

在 EPYC 大内存平台上,容量规划的第一步不是算“要插多少条”,而是先判断“该用哪一类内存介质”。EPYC 的 Infinity Fabric 把 CPU 核心、IOD、内存控制器和 PCIe 连成一体,内存控制器直接决定支持哪种 DIMM 形态、每通道能挂几条、最高能跑到什么速率。选错介质,后面再精细的容量计算也会被推翻。

先看层级:从寄存器到 DRAM 颗粒

服务器内存并不是“一根条子”这么简单,它内部有清晰的层级。以 RDIMM 为例,CPU 内存控制器发出地址/命令/数据信号,先经过 DIMM 上的 RCD(寄存器时钟驱动器)和 DB(数据缓冲),再到达 DRAM 颗粒。RDIMM 只缓冲地址、命令和时钟,数据线仍直连颗粒;LRDIMM 则把数据线也通过 DB 缓冲,因此单条可以堆更多 rank 而不显著增加控制器负载。3DS RDIMM 是在封装层面把多颗 DRAM die 垂直堆叠,用 TSV 硅通孔连接,等效于把多个 rank 塞进同一封装高度,从而在有限插槽内提升单条容量。

理解这个层级,才能理解为什么“同样 64GB,RDIMM 和 LRDIMM 的电气负载不同”。RDIMM 每条通常 1~2 rank,LRDIMM 可做到 4 rank 甚至 8 rank,3DS RDIMM 则常见 2H/4H/8H 堆叠。rank 越多,单条容量越大,但控制器需要驱动的负载也越重,速率往往要相应下调。

EPYC 内存介质层级与容量/性能权衡 EPYC IOD 内存控制器 12 通道 / 2DPC CA/CLK/DQ RDIMM RCD 缓冲地址/命令 数据直连颗粒 1~2 rank / 条 LRDIMM RCD + DB 全缓冲 数据线也经缓冲 4~8 rank / 条 3DS RDIMM TSV 垂直堆叠 die 2H/4H/8H 堆叠 单条容量大幅提升 DDR4 颗粒 1.2V 2133~3200 MT/s 16/32Gb die DDR5 颗粒 1.1V 4800~6000 MT/s 16/24/32Gb die 持久内存 DRAM + 非易失 Memory Mode App Direct 权衡轴 容量 ↑ 速率 ↓ 延迟 ↑ 功耗 ↑ 成本 ↑ 2DPC 降速 rank 越多越明显 DDR5 起跳更高 持久内存需 BIOS/OS 配合

DDR4 与 DDR5:不只是代际差

DDR4 在 EPYC 7002/7003 上成熟稳定,1.2V 供电,常见速率 2933/3200 MT/s,单条容量以 32GB、64GB 为主,128GB 的 3DS RDIMM 也已量产。DDR5 从 EPYC 9004 开始引入,1.1V,起跳 4800 MT/s,单条容量从 32GB 到 256GB 不等,且每条 DIMM 内部拆成两个 32-bit 子通道,等效通道数翻倍。这意味着 DDR5 平台在相同插槽数下,带宽和容量上限都更高,但代价是内存控制器和主板布线更复杂,早期 DDR5 的 2DPC 降速也更明显。

选型时不要只看“DDR5 更快”。如果业务是内存数据库,容量优先,DDR4 的 128GB 3DS RDIMM 在 2DPC 下可能比 DDR5 的 64GB 更划算;如果业务是高频交易或实时分析,DDR5 的带宽优势才真正兑现。EPYC 的 12 通道设计让“通道数 × 单条容量”成为容量上限的核心公式,DDR5 每通道两个子通道,实际并发粒度更细,对 NUMA 敏感的负载也更友好。

RDIMM、LRDIMM、3DS RDIMM 的取舍

RDIMM 是最通用的选择:延迟最低、成本最低、兼容性最好,适合 1DPC 或 2DPC 下 rank 数不高的场景。LRDIMM 通过数据缓冲把电气负载从控制器上卸下来,让单条可以做到 4 rank 甚至 8 rank,适合“插槽有限但容量要求极高”的节点。3DS RDIMM 则是在 RDIMM 基础上做 die 堆叠,单条容量可以做到 128GB、256GB,同时保持相对较低的 rank 负载,是当前大内存 EPYC 平台最常用的高容量介质。

一个常见的误区是“LRDIMM 一定比 RDIMM 慢”。实际上,LRDIMM 的缓冲会引入少量延迟,但在高 rank 配置下,它反而能让控制器以更稳定的时序运行,避免因负载过重而降速。真正决定性能的是“最终稳定速率”和“实际 rank 数”,而不是介质名称本身。

持久内存:容量层的另一种思路

持久内存(如 Intel Optane PMem,在部分 EPYC 平台通过特定配置支持)把 DRAM 的速度和非易失性结合,提供 Memory Mode 和 App Direct 两种模式。Memory Mode 下,DRAM 作为缓存,持久内存作为大容量主存,系统看到的容量是持久内存的总量,适合内存数据库、虚拟化等“容量敏感、延迟可容忍”的场景。App Direct 则把持久内存当作可字节寻址的持久存储,应用直接访问,适合需要持久化数据结构的场景。

但持久内存的选型必须确认平台支持:EPYC 的 BIOS、内存控制器固件和操作系统都要配合,且通常需要特定型号的 DIMM。容量规划时,Memory Mode 的“可见容量”不等于“可用带宽”,因为 DRAM 缓存命中率会直接影响性能,必须按业务访问局部性来估算。

选型决策表

下面这张表把常见场景和推荐介质对应起来,参数为示例性建议,实际以主板 QVL 和 BIOS 支持为准。

场景 推荐介质 典型单条容量 速率取向 关键注意
通用虚拟化 / 1DPC DDR4 RDIMM 32~64GB 3200 MT/s 优先保速率,rank 控制在 2 以内
大内存数据库 / 2DPC DDR4 3DS RDIMM 128GB 2933~3200 MT/s 确认 BIOS 支持 3DS,2DPC 可能降速
高带宽分析 / 新平台 DDR5 RDIMM 32~64GB 4800~5600 MT/s 利用双子通道,注意 2DPC 降速
插槽受限 / 超大容量 DDR5 3DS RDIMM 或 LRDIMM 128~256GB 按 QVL 稳定值 核对每通道 rank 上限和供电
持久化内存池 持久内存 + DRAM 按模块容量 Memory Mode 看缓存命中 需平台固件与 OS 双重支持
选型顺序建议:先确认平台支持的介质类型和最大 rank 数,再按“容量目标 ÷ 通道数”反推单条容量,最后用 QVL 验证目标速率能否在 1DPC/2DPC 下稳定达成。不要先买条子再查兼容性。

最后提醒一点:EPYC 的 12 通道必须成组使用,缺通道会直接损失带宽。容量规划时,先把“每通道插几条、每条多大、什么介质”这三件事定下来,再进入下一步的 NUMA 与内存交织配置。介质选型是地基,地基不稳,后面的容量数字再漂亮也没有意义。