3. Lenovo企业计算硬件架构解析

Lenovo ThinkSystem 与 ThinkAgile 服务器在硬件架构上遵循“计算—内存—存储—网络”四子系统协同的设计思路。理解这四个子系统的内部结构、互连方式以及它们对性能与容量的影响机理,是后续做性能优化与容量规划的基础。本节不罗列产品型号,而是从架构层面拆解每个子系统的关键组成、瓶颈位置和参数影响路径。

CPU 子系统:核心、缓存与 UPI 互连

ThinkSystem 主流机型(如 SR650 V3、SR630 V3)采用双路 Intel Xeon Scalable 或 AMD EPYC 处理器。CPU 子系统对性能的影响主要来自三个层面:核心数量与频率决定并行计算能力;L3 缓存容量影响数据复用效率;UPI(Intel)或 Infinity Fabric(AMD)互连带宽决定两颗 CPU 之间以及 CPU 与内存控制器之间的数据搬运效率。

以双路 Intel Xeon Gold 6430 为例,单颗 32 核、60MB L3 缓存、UPI 速率 16 GT/s。当业务线程跨 NUMA 节点访问远端内存时,延迟会从本地约 80ns 上升到约 140ns。因此在性能优化中,NUMA 绑定(numactl --cpunodebind=0 --membind=0)是常见手段。容量规划时,CPU 核心数直接决定可承载的虚拟机密度或容器实例数,通常按“每核心 2~4 个 vCPU 超分比”估算,但需结合业务类型调整。

内存子系统:通道、Rank 与带宽匹配

内存子系统的架构要点是“通道数 × 每通道 DIMM 数 × Rank 结构”。ThinkSystem SR650 V3 提供 32 个 DIMM 插槽,分 8 个通道,每通道 2 个插槽。内存带宽 = 通道数 × 单通道带宽。以 DDR5-4800 为例,单通道带宽约 38.4 GB/s,8 通道合计约 307 GB/s。若只插满一半通道,带宽直接减半,这是很多“CPU 利用率不高但业务慢”的根因。

容量方面,单条 DDR5 RDIMM 常见 32GB/64GB/128GB。规划时需注意:3DS RDIMM 与普通 RDIMM 不能混插;每通道插 2 条时频率可能降档(如从 4800 降至 4400)。实际配置建议优先保证通道均衡,再考虑单条容量。例如 8 通道 × 2 条 × 64GB = 1TB,比 4 通道 × 2 条 × 128GB = 1TB 的带宽高一倍。

ThinkSystem 四子系统架构与性能/容量影响路径 CPU 子系统 双路 Xeon / EPYC 核心数 · 频率 · L3 缓存 UPI / Infinity Fabric NUMA 节点划分 影响:并行能力 · 调度延迟 内存子系统 DDR5 RDIMM / 3DS 8 通道 × 2 DIMM Rank 结构 · 频率降档 带宽 ≈ 通道数 × 38.4GB/s 影响:带宽 · 容量 · 延迟 存储子系统 NVMe / SAS / SATA PCIe 4.0/5.0 通道 RAID 卡缓存 · 写策略 背板带宽 · 盘位密度 影响:IOPS · 吞吐 · 容量 网络子系统 OCP 3.0 / PCIe 网卡 25/100/200 GbE RoCEv2 · SR-IOV 上行链路收敛比 影响:东西向 · 南北向 子系统间耦合关系与瓶颈传导路径 CPU ↔ 内存 通道未插满 → 带宽减半 内存 ↔ 存储 页缓存不足 → 读盘放大 存储 ↔ 网络 分布式存储 → 网络瓶颈 典型瓶颈信号 CPU 等待内存 · 利用率虚高 典型瓶颈信号 IO wait 高 · 队列深度堆积 典型瓶颈信号 重传率高 · 带宽跑不满

存储子系统:PCIe 通道与背板带宽

ThinkSystem 存储子系统的核心是“PCIe 通道分配 + 背板拓扑 + RAID 策略”。以 SR650 V3 为例,前置 8 个 2.5 英寸 NVMe 盘位通过 PCIe 4.0 x4 直连 CPU,单盘顺序读约 6.5 GB/s。若使用 SAS/SATA 背板,则需经过 RAID 卡(如 ThinkSystem RAID 940-32i),此时 RAID 卡缓存(2GB/4GB)和写策略(Write Back with BBU)直接影响随机写性能。

容量规划时,NVMe 单盘常见 1.92TB/3.84TB/7.68TB。若业务需要 50TB 可用容量,采用 RAID 5(8+1)需 9 块 7.68TB 盘,实际可用约 61TB。注意:NVMe 直连时 CPU PCIe 通道数有限,双路平台通常提供 128 条 PCIe 4.0 通道,需在网卡、RAID 卡、NVMe 之间分配。若 NVMe 盘位超过 16 个,通常需要 PCIe Switch 扩展,此时延迟会略有增加。

网络子系统:带宽、收敛比与协议卸载

ThinkSystem 网络子系统支持 OCP 3.0 网卡和标准 PCIe 网卡。以 25GbE 双口网卡为例,单口理论带宽 25 Gbps,实际 TCP 吞吐约 23 Gbps。若采用 RoCEv2 配合 PFC/ECN,可降低 CPU 占用率约 30%。在 ThinkAgile 超融合场景中,东西向流量(节点间数据同步)往往远大于南北向流量,因此网络收敛比是关键参数。

例如 4 节点集群,每节点 2×25GbE 做 LACP,接入交换机 48×25GbE 上行 8×100GbE,收敛比 48×25 : 8×100 = 1200:800 = 1.5:1。若收敛比过高(如 3:1),在重建或迁移时会出现丢包和重传。容量规划时,建议按“每节点可用带宽 × 节点数 × 0.7”估算集群有效吞吐。

四子系统协同与容量规划要点

四个子系统并非独立,而是存在明确的耦合关系。CPU 核心数增加会提高内存带宽需求;内存容量不足会导致存储 IO 放大;存储 IO 增加会占用网络带宽;网络延迟又会反过来影响 CPU 等待时间。因此容量规划应遵循“先定 CPU 与内存配比,再定存储 IOPS 与容量,最后核算网络收敛比”的顺序。

示例配置核算(假设场景):双路 32 核 CPU、8 通道 × 2 条 64GB DDR5-4800、8 块 3.84TB NVMe RAID 5、2×25GbE。内存带宽约 307 GB/s,可用容量约 26.9TB,网络有效吞吐约 35 Gbps。若业务需要 50000 IOPS 随机读,8 块 NVMe 可提供约 400K IOPS,满足;若需要 40TB 可用容量,则需扩容至 12 块盘或改用 7.68TB 盘。

实际优化中,建议先用 numactl --hardware 确认 NUMA 拓扑,用 dmidecode -t memory 检查内存通道填充情况,用 nvme list 和 lspci -vv 确认 NVMe 链路宽度,用 ethtool -S 观察网卡丢包与重传。这些命令的输出直接对应上述四个子系统的关键参数,是判断瓶颈位置的第一手依据。