3. 服务器网络与存储协同的硬件拓扑
在双路 Intel Xeon 服务器上，网络与存储的协同性能并不只取决于网卡和 SSD 本身的规格，更取决于它们在 PCIe 拓扑和 NUMA 体系中的“落点”。同一块 100GbE 网卡，插在 CPU0 直连的 PCIe 插槽还是经 PCH 或 PCIe Switch 转接的插槽，其到远端 NUMA 节点内存的访问延迟可能相差一倍以上；同一组 NVMe SSD，挂载在 CPU0 直连的 PCIe Root Complex 还是 CPU1 侧，跨节点数据搬运会额外消耗 UPI 带宽。理解这些映射关系，是后续做中断亲和、内存绑定和存储队列调优的物理基础。
一、Xeon 平台的 PCIe 与 NUMA 拓扑骨架
以典型双路 Intel Xeon Scalable（如第三代 Ice Lake-SP）为例，每颗 CPU 提供 64 条 PCIe 4.0 通道，分为若干 PCIe Root Complex 和 IIO 栈。CPU0 与 CPU1 之间通过 UPI 链路互联，各自拥有本地内存控制器（如 8 通道 DDR4）。操作系统将每颗 CPU 及其直连内存、直连 PCIe 设备视为一个 NUMA 节点，因此默认形成 node0 与 node1 两个节点。
关键规则是：PCIe 设备天然归属于其上游 Root Complex 所在的 NUMA 节点。插在 CPU0 直连插槽上的网卡，其 DMA 访问 CPU0 本地内存延迟最低（约 80～100ns 量级），访问 CPU1 内存则需跨越 UPI，延迟升至约 140～180ns。这一差异在高 PPS 网络收包和 NVMe 高队列深度场景下会被显著放大。
二、网卡、NVMe、RAID/HBA 的典型落点
服务器主板通常将 PCIe 插槽分为三类：CPU0 直连、CPU1 直连、以及经 PCH 或板载 PCIe Switch 转接。规划时应遵循以下原则：
- 高速网卡（100GbE/200GbE）：优先插 CPU0 直连的 x16 插槽，确保网卡与处理网络中断的 CPU 核处于同一 NUMA 节点。
- NVMe SSD：若使用板载 M.2 或 U.2 背板，需确认其上游是 CPU 直连还是 PCH。PCH 转接的 NVMe 会引入额外延迟，且多个盘共享 PCH 上行带宽。
- RAID/HBA 卡：SAS/SATA HBA 通常插在 CPU1 直连插槽，用于管理大容量机械盘；而高性能 NVMe 则走 CPU0 直连，形成“快慢分离”的存储层次。
- PCIe Switch：当单 CPU 通道不足以直连所有设备时，PCIe Switch 可扩展出更多下行端口，但所有下行设备共享上行链路带宽，且 Switch 本身会引入约 100～150ns 额外延迟。
lspci -vv 查看设备的 “NUMA node” 字段，或读取 /sys/bus/pci/devices/<BDF>/numa_node。若返回 -1，说明固件未正确上报拓扑，需在 BIOS 中检查 PCIe 插槽的 NUMA 映射设置。三、NUMA 映射对网络与存储协同的影响
当网卡与 NVMe SSD 分属不同 NUMA 节点时，一次“收包—落盘”的数据路径会变成：网卡 DMA 写入 node0 内存 → 应用在 node0 读取 → 通过 UPI 传输到 node1 → NVMe 从 node1 内存 DMA 读取。这条路径额外消耗 UPI 带宽和跨节点延迟。反之，若网卡、NVMe、处理线程三者同处 node0，数据全程在本地内存和本地 PCIe 内完成，延迟最低、带宽最充裕。
因此，硬件拓扑规划的核心目标可以概括为：让网络 I/O、存储 I/O 和处理线程尽量收敛到同一 NUMA 节点。对于无法避免的跨节点设备，应通过中断亲和和内存绑定策略，将处理线程调度到设备所在节点，减少跨 UPI 流量。
四、实操：如何验证与调整映射关系
拿到一台服务器后，第一步不是直接跑业务，而是先摸清拓扑。以下命令可以快速建立设备与 NUMA 节点的对应关系：
# 查看所有 PCIe 设备的 NUMA 归属
for d in /sys/bus/pci/devices/*/; do
bdf=$(basename $d)
node=$(cat $d/numa_node 2>/dev/null)
class=$(cat $d/class 2>/dev/null)
echo "$bdf node=$node class=$class"
done | grep -E "0200|0108|0107"
# 查看网卡与 NVMe 的具体型号和链路速率
lspci -vv -s 0000:3b:00.0 | grep -E "LnkCap|LnkSta|NUMA"
nvme list-subsys
# 查看 NUMA 节点与 CPU 的对应关系
numactl --hardware
假设输出显示 100GbE 网卡位于 0000:3b:00.0，numa_node=0；而 NVMe SSD 位于 0000:86:00.0，numa_node=1。这意味着网卡和 SSD 分属两个节点。此时若应用线程绑定在 node0，写 NVMe 时数据需跨 UPI 传输。调整方式有两种：一是将 NVMe 迁移到 CPU0 直连插槽（物理调整）；二是将应用线程和内存绑定到 node1，让存储路径本地化，但网卡收包又会跨节点。实际选择取决于业务是网络密集型还是存储密集型。
numa_node 值已变化。五、PCIe Switch 与带宽收敛的权衡
当服务器需要接入超过 CPU 直连通道数的设备时，PCIe Switch 是常见方案。例如一颗 CPU 只有 64 条通道，若已用 32 条接网卡、16 条接 NVMe，剩余 16 条不足以再接 4 块 x4 NVMe，此时可通过 PCIe Switch 将 16 条上行扩展为 32 条下行。但要注意：Switch 的下行总带宽受限于上行链路，若 4 块 NVMe 同时满速读写，每块实际可用带宽会被压缩到上行带宽的 1/4。因此，PCIe Switch 适合“设备多但并发不高”的场景，不适合所有设备同时满负载的场景。
在 NUMA 映射上，PCIe Switch 及其下行设备统一归属于 Switch 上行所连接的 CPU 节点。这意味着 Switch 上的所有设备共享同一个 NUMA 归属，规划时需将处理这些设备的线程一并绑定到该节点。
六、规划检查清单
| 检查项 | 目标状态 | 验证命令 |
|---|---|---|
| 100GbE 网卡 NUMA 节点 | 与主要处理线程同节点 | cat /sys/bus/pci/devices/<BDF>/numa_node |
| NVMe SSD NUMA 节点 | 与网卡同节点（若做网络存储协同） | nvme list-subsys |
| PCIe 链路速率 | LnkSta 达到 LnkCap 标称值 | lspci -vv | grep LnkSta |
| 中断亲和 | 网卡中断落在设备所在节点 CPU | cat /proc/interrupts |
| 内存绑定 | 应用 membind 与设备节点一致 | numactl --hardware |
完成上述检查后，你就拥有了一张清晰的“设备—节点—线程”映射图。后续做网络中断调优、NVMe 多队列绑定、RAID 卡缓存策略时，都可以基于这张图来判断数据路径是否跨节点、瓶颈在 PCIe 链路还是 UPI 链路，从而做出有针对性的调整，而不是盲目试参数。