📚 课程目录第2章 NUMA硬件拓扑

2. NUMA硬件拓扑：CPU Socket、Core、Thread与内存控制器、NUMA Node的物理结构

要理解NUMA亲和性优化，首先必须掌握现代服务器硬件的物理拓扑。NUMA（Non-Uniform Memory Access）架构的核心思想是：内存访问延迟不再统一，它取决于发起访问的CPU与目标物理内存之间的“距离”。这种距离由CPU Socket、Core、Thread、内存控制器以及互连总线的物理布局决定。

2.1 从单核到多核：CPU内部层次结构

现代CPU内部采用层次化结构，从大到小依次为：Socket（插槽）→ Core（核心）→ Thread（线程/逻辑处理器）。每个层次都对应着不同的资源竞争和共享关系。

层次	物理含义	共享资源	NUMA视角
Socket	物理CPU芯片，插入主板插槽	内存控制器、QPI/UPI总线、L3缓存（部分架构）	通常对应一个NUMA Node
Core	独立的计算单元，拥有完整流水线	L1/L2缓存（通常私有）	Node内的计算资源
Thread	超线程（Hyper-Threading）产生的逻辑处理器	Core内的执行单元、L1/L2缓存	共享Core的物理资源

关键概念： 在Linux系统中，/proc/cpuinfo 中的 physical id 表示Socket编号，core id 表示物理核心编号，processor 表示逻辑CPU编号。同一个物理核心上的两个逻辑CPU共享L1/L2缓存，这是优化缓存亲和性的重要依据。

2.2 内存控制器与NUMA Node的诞生

在传统SMP（对称多处理）架构中，所有CPU通过前端总线共享一个内存控制器，访问延迟一致。但在NUMA架构中，每个Socket都集成了独立的内存控制器（IMC, Integrated Memory Controller），直接管理本地物理内存。

一个NUMA Node由以下物理组件构成：

一个CPU Socket：包含多个Core和Thread。
本地内存控制器：直接连接该Socket的物理内存插槽（DIMM）。
本地物理内存：通过内存控制器直接访问，延迟最低。
互连总线接口：如Intel的QPI（QuickPath Interconnect）或AMD的Infinity Fabric，用于跨Node通信。

  性能差异量化： 访问本地Node的内存延迟通常在80-120ns，而跨Socket访问远端Node的内存延迟可能高达200-300ns，带宽也可能下降30%-50%。这种差异在高并发、大数据量场景下会被急剧放大。

2.3 双路服务器NUMA拓扑实例

下图展示了一个典型的双路（2-Socket）NUMA服务器物理结构。每个Socket拥有独立的内存控制器和本地内存，通过高速互连总线连接。

2.4 内存访问路径与延迟差异

在NUMA系统中，一次内存访问请求的路径决定了其延迟。以双路系统为例，存在三种典型的访问场景：

本地访问（Local Access）：CPU访问挂载在同一Socket内存控制器下的物理内存。路径最短，延迟最低。
远端访问（Remote Access）：CPU访问另一个Socket的本地内存。请求必须通过QPI/Infinity Fabric跨Socket传输，延迟显著增加。
旁路访问（Off-Path Access）：在某些复杂拓扑中，访问可能需要经过多个中间节点，延迟最高。

性能陷阱： 默认情况下，Linux内核的内存分配策略是“先本地，后远端”。但如果本地内存耗尽，内核会自动分配远端内存，导致性能突然下降。这就是为什么需要显式绑定内存分配策略（如 numactl --membind）的原因。

2.5 现代CPU的NUMA拓扑演进

不同厂商和代际的CPU在NUMA拓扑实现上存在差异，理解这些差异有助于针对特定硬件进行调优。

架构	互连技术	NUMA Node划分	特点
Intel Xeon (Skylake/Cascade Lake)	UPI (Ultra Path Interconnect)	1 Socket = 1 Node	每个Socket拥有独立L3缓存和内存控制器，UPI提供高带宽跨Socket通信。
AMD EPYC (Zen 2/Zen 3)	Infinity Fabric	1 CCD (Core Complex Die) = 1 Node	多Die封装，每个CCD拥有独立L3缓存和内存控制器，跨CCD访问延迟差异明显。
Intel Xeon (Sapphire Rapids)	UPI 2.0 + CXL	1 Tile = 1 Node	多Tile设计，每个Tile拥有独立内存控制器，支持CXL内存扩展。

2.6 查看NUMA拓扑的实用命令

在Linux系统中，可以通过以下命令快速查看当前服务器的NUMA拓扑结构：

# 查看NUMA节点数量和内存分布
numactl --hardware

# 查看每个CPU核心所属的NUMA节点
lscpu | grep -i numa

# 查看详细的NUMA内存分配策略和统计
cat /sys/devices/system/node/node*/numastat

# 查看每个NUMA节点的CPU列表
ls /sys/devices/system/node/node*/cpulist

  实战案例： 在一台双路Intel Xeon服务器上执行 numactl --hardware，输出可能如下：

  available: 2 nodes (0-1)

  node 0 cpus: 0 1 2 3 4 5 6 7 16 17 18 19 20 21 22 23

  node 0 size: 65536 MB

  node 1 cpus: 8 9 10 11 12 13 14 15 24 25 26 27 28 29 30 31

  node 1 size: 65536 MB

  这表明CPU 0-7和16-23属于Node 0，CPU 8-15和24-31属于Node 1，每个Node拥有64GB本地内存。

2.7 总结：物理拓扑对性能优化的指导意义

理解NUMA硬件拓扑是进行亲和性优化的基础。核心原则是：让CPU尽可能访问本地内存，避免跨Node访问。具体到优化策略：

线程绑定：将计算密集型的线程绑定到同一NUMA Node的CPU核心上。
内存绑定：使用 numactl --membind 或 mbind() 系统调用，强制内存分配在指定Node。
数据局部性：设计数据结构时，确保线程处理的数据位于其所在Node的本地内存中。
避免跨Node中断：配置中断亲和性，将设备中断绑定到处理该设备数据的CPU所在Node。