2. NUMA硬件拓扑：处理器与内存节点的物理布局

NUMA（Non-Uniform Memory Access）架构的核心思想是将处理器核心和内存资源划分为多个节点（Node），每个节点拥有本地内存和本地内存控制器。访问本地内存的延迟远低于访问远程节点内存的延迟。理解硬件拓扑是优化内存访问延迟的第一步。

2.1 处理器与内存节点的物理布局

在典型的NUMA系统中，每个物理CPU插槽（Socket）及其集成的内存控制器构成一个NUMA节点。下图展示了一个双路NUMA系统的物理布局：

关键物理组件说明：

• Socket（插槽）：物理CPU封装，包含多个核心、缓存和内存控制器。
• 内存控制器（IMC）：集成在CPU内部，直接管理本地内存通道。
• 本地内存：直接连接到本节点内存控制器的物理内存条。
• QPI/UPI互联：连接不同Socket的高速点对点链路。

2.2 QPI/UPI互联链路

QPI（QuickPath Interconnect）和UPI（Ultra Path Interconnect）是Intel处理器用于连接多个CPU插槽的高速互联技术。它们决定了跨节点内存访问的带宽和延迟。

2.3 内存控制器分布

现代NUMA系统中，每个CPU插槽集成了多个内存控制器通道。以Intel Skylake-SP为例，每个Socket包含6个内存通道，每个通道支持2个DIMM插槽。

内存控制器分布的关键参数：

• 通道数：每个Socket通常有4-8个内存通道。
• 每通道DIMM数：通常支持2个DIMM（双列直插内存模块）。
• 内存层级：本地访问 → 同一Socket不同通道 → 不同Socket远程访问。

2.4 NUMA节点间的距离与延迟差异

NUMA节点间的“距离”通常用相对延迟因子（Relative Distance）表示。Linux内核通过ACPI SLIT（System Locality Information Table）表获取这些信息。

典型的NUMA节点间延迟差异：

2.5 查看NUMA拓扑的实用命令

Linux系统提供了多个工具来查看NUMA硬件拓扑：

# 查看NUMA节点数量和内存分布
numactl --hardware

# 输出示例：
# available: 2 nodes (0-1)
# node 0 cpus: 0 1 2 3
# node 0 size: 65536 MB
# node 0 free: 48192 MB
# node 1 cpus: 4 5 6 7
# node 1 size: 65536 MB
# node 1 free: 50240 MB
# node distances:
# node   0   1
#   0:  10  20
#   1:  20  10

# 查看SLIT表（节点间距离）
cat /sys/devices/system/node/node*/distance

# 查看每个节点的CPU列表
ls /sys/devices/system/node/node*/cpulist

node distances矩阵中的数值是相对值，基准值10代表本地访问。数值越大，延迟越高。例如，20表示远程访问延迟是本地访问的2倍。

2.6 拓扑对性能优化的影响

理解NUMA硬件拓扑后，可以制定以下优化策略：

1. 内存亲和性绑定：使用numactl --membind将进程内存分配限制在本地节点。
2. CPU亲和性绑定：使用taskset或numactl --cpunodebind将线程绑定到与内存相同的节点。
3. 跨节点访问最小化：对于延迟敏感型应用，优先使用本地内存。
4. 带宽均衡：对于内存带宽密集型应用，可以主动将内存分散到多个节点以利用总带宽。