2. 机架式服务器硬件架构解析

联想ThinkSystem SR系列机架式服务器是数据中心最常见的通用计算平台之一,涵盖1U单路、1U双路、2U双路及2U多GPU等形态。理解其硬件架构,不能停留在“主板、CPU、内存、硬盘、电源”的罗列,而应把握一条主线:数据从外部网络进入,经PCIe设备与内存,被CPU处理后再经存储或网络输出。主板布局、CPU插槽、内存通道、PCIe拓扑、存储背板与电源模块,正是这条链路上六个相互约束的物理环节。

一、主板布局:以CPU为中心的功能分区

SR系列主板通常采用标准EATX或专有尺寸,布局遵循“双CPU对称、内存环绕、PCIe下沉、存储前置、供电后置”的原则。以2U双路机型为例,主板前部为存储背板接口区,中部并排布置两个CPU插槽(Socket),每个插槽两侧各排列若干DIMM插槽,后部为PCIe Riser连接器与OCP网卡槽,边缘为电源分配与风扇接口。

这种布局的核心约束是走线长度与信号完整性。CPU到内存的走线必须等长,因此DIMM插槽紧贴CPU两侧;CPU到PCIe插槽的差分对走线需控制损耗,因此Riser连接器靠近CPU;而存储背板位于机箱最前端,通过SAS/SATA或NVMe线缆回连主板或RAID/HBA卡。布局一旦确定,可支持的CPU型号、内存容量和PCIe数量也随之确定。

二、CPU插槽与内存通道:带宽的源头

SR系列双路机型使用两个LGA4189(Ice Lake)或LGA4677(Sapphire Rapids)插槽,分别标记为CPU1和CPU2。CPU1通常承担主启动、管理网口和部分PCIe通道;CPU2通过UPI(Ultra Path Interconnect)与CPU1互联,提供额外内存通道和PCIe通道。

内存通道是本节最容易被忽视却最影响性能的部分。以Sapphire Rapids为例,每颗CPU支持8个内存通道,每个通道可插1~2条DDR5 DIMM。双路机型满配可达32个DIMM插槽。关键规则是:通道均衡优先于容量堆叠。若只插8条内存,应优先填满CPU1的8个通道各1条,而不是把8条全插在CPU1的前4个通道。通道不均衡会导致内存带宽下降,进而拖慢虚拟化、数据库等内存敏感型负载。

教学示例:某2U双路SR机型,CPU1与CPU2各8通道。若业务需要256GB内存,建议配置16条16GB DDR5,每CPU每通道1条,实现双路全通道均衡。若改为8条32GB,则只有一半通道工作,理论带宽减半。

三、PCIe拓扑:从CPU到插槽的通道分配

PCIe拓扑决定了GPU、网卡、HBA卡能跑多快。SR系列通常提供多个PCIe 4.0/5.0 x16插槽,通过Riser卡转接。以2U双路为例,CPU1提供x16+x16+x8,CPU2提供x16+x16+x8,合计约6个插槽。OCP 3.0网卡槽通常直连CPU1,提供x16带宽。

实际配置时需注意:插槽的物理位置不等于电气归属。靠近CPU1的插槽可能由CPU2提供通道,反之亦然。若将一张高速网卡插在由CPU2提供的插槽上,而业务进程绑定在CPU1,跨UPI访问会引入额外延迟。因此,高性能网卡和GPU应优先插在与其计算CPU同侧的插槽。

SR系列2U双路服务器物理架构与数据通路 机箱前部(冷通道) 机箱后部(热通道) 存储背板 2.5" NVMe/SAS Bay 0-7 Bay 8-15 Bay 16-23 SAS/NVMe 线缆 回连 HBA/RAID CPU1 LGA4677 8通道 DDR5 主启动/管理 CPU2 LGA4677 8通道 DDR5 扩展计算 UPI 互联 DIMM 通道 DIMM 通道 PCIe Riser Slot 1 x16 (CPU1) Slot 2 x16 (CPU1) Slot 3 x16 (CPU2) Slot 4 x16 (CPU2) OCP 3.0 x16 电源模块 PSU 1 (热插拔) PSU 2 (冗余) 风扇墙 N+1 冗余 前后风道 SAS/NVMe PCIe x16 PCIe x16 12V 存储数据流 PCIe 数据流 供电 UPI 互联

四、存储背板:从盘位到控制器的连接

SR系列2U机型通常提供前置24个2.5英寸盘位或12个3.5英寸盘位,背板分为SAS/SATA背板和NVMe背板两种。SAS/SATA背板通过Mini-SAS HD线缆连接至RAID卡或HBA卡,再由PCIe插槽接入CPU;NVMe背板则通过PCIe线缆直连CPU或PCIe Switch,延迟更低。

实际部署时,背板与控制器必须匹配。例如,若使用ThinkSystem RAID 940-16i卡,其支持16个SAS/SATA端口,可覆盖16个盘位;若配置24盘位,则需两块RAID卡或使用SAS Expander背板。NVMe机型则需确认背板是否支持PCIe 4.0,以及CPU是否提供足够的PCIe通道。一个常见的错误是:将NVMe背板接到不支持NVMe的RAID卡上,导致硬盘无法识别。

五、电源模块:冗余与功率预算

SR系列通常配置2个热插拔电源模块(PSU),支持1+1冗余。常见功率等级为750W、1100W、1600W和2000W,效率等级为铂金或钛金。电源模块将交流电转换为12V直流,通过电源分配板供给主板、背板和风扇。

功率预算需覆盖CPU、内存、硬盘、PCIe卡和风扇的峰值功耗。以双路Sapphire Rapids 350W CPU、16条DDR5、8块NVMe SSD、2张300W GPU为例,峰值功耗约为:CPU 700W + 内存 160W + 硬盘 80W + GPU 600W + 风扇 100W + 主板 50W ≈ 1690W。此时应选择2×2000W电源,确保单电源故障时仍能支撑满载。若仅选2×1600W,冗余状态下可能触发功率封顶,导致降频。

注意:电源冗余不等于功率翻倍。1+1冗余下,系统最大可用功率等于单电源额定功率,而非两倍。选型时需按单电源功率计算余量,建议保留20%~30%裕量。

六、架构约束与配置检查

六个环节并非独立,而是相互约束。CPU插槽决定内存通道数和PCIe通道数;PCIe拓扑决定能插多少卡;存储背板决定盘位数量和协议;电源模块决定整机功率上限。配置时建议按以下顺序检查:

  1. 确认CPU型号与插槽数量,确定内存通道总数和PCIe通道总数。
  2. 按通道均衡原则配置内存,避免单侧通道空置。
  3. 根据业务需求选择PCIe卡,并确认插槽电气归属与CPU对应关系。
  4. 确认存储背板协议(SAS/SATA/NVMe)与控制器匹配。
  5. 计算峰值功耗,选择合适功率的冗余电源。

以一台用于虚拟化的SR650 V3为例:双路Gold 6430(32核,270W)、16条32GB DDR5(512GB,双路全通道)、2块480GB M.2启动盘、8块3.84TB NVMe、2张25GbE OCP网卡、2×1100W电源。该配置中,CPU1和CPU2各8通道均被占用,NVMe背板直连CPU,网卡位于OCP槽,电源按单路1100W计算,峰值约900W,冗余充足。这一配置可作为通用虚拟化节点的参考基线。

理解SR系列硬件架构的价值在于:当性能不达预期或扩容受阻时,能快速定位是内存通道瓶颈、PCIe通道不足、背板协议不匹配还是电源功率受限。硬件架构不是静态的规格表,而是决定系统能力边界和升级路径的物理基础。