3. NUMA架构原理

在SMP（对称多处理）时代，所有CPU通过一条前端总线访问同一块内存，内存访问延迟对每个核心都是相同的，这种模型称为UMA（Uniform Memory Access，统一内存访问）。但当核心数量增长到几十甚至上百个时，单一内存控制器和总线会成为瓶颈。NUMA（Non-Uniform Memory Access，非统一内存访问）正是为解决这一扩展性问题而诞生的架构：把内存和内存控制器"打散"到多个节点上，让每个CPU就近访问自己节点的内存，从而获得更高的聚合带宽和更低的平均延迟。

一、NUMA节点：CPU与内存的"就近组合"

NUMA架构把整个系统划分为若干个节点（Node）。每个节点通常包含：一组CPU核心（可能还有各自的L1/L2缓存）、共享的L3缓存、一个本地内存控制器，以及挂在该控制器下的一段物理内存。节点内部通过高速互连（如Intel的UPI、AMD的Infinity Fabric）连接，节点之间则通过跨节点链路通信。

关键点在于：CPU访问本地节点内存和访问其他节点内存的物理路径不同。本地访问只需经过本节点的内存控制器；远程访问则要经过互连链路，先到目标节点的内存控制器，再返回数据。路径更长、经过的跳数更多，因此延迟更高、带宽也更受限。

二、本地/远程内存与访问延迟差异

在Linux中，可以用 numactl --hardware 查看节点拓扑和距离信息。典型输出如下：

available: 2 nodes (0-1)
node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
node 0 size: 32768 MB
node 0 free: 28000 MB
node 1 cpus: 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31
node 1 size: 32768 MB
node 1 free: 30000 MB
node distances:
node   0   1
  0:  10  21
  1:  21  10

这里的 node distances 是相对延迟指标，本地访问基准为10，跨节点访问为21，意味着远程访问延迟约为本地的2.1倍。实际硬件上，本地内存延迟约70~90ns，远程内存延迟约130~160ns，具体取决于互连代际和频率。

三、NUMA比例与节点距离

NUMA比例（NUMA ratio）是衡量远程/本地延迟差异的核心指标，定义为：

比例越接近1，说明远程访问代价越小，架构越"扁平"；比例越大，跨节点访问的惩罚越重。节点距离矩阵中的数值正是这一比例的量化表达。在多跳拓扑（如4路、8路系统）中，节点间可能不是直连，而是经过中间节点转发，距离值会出现10、21、31等阶梯，跳数越多延迟越高。

四、内存亲和性与性能影响

内存亲和性（memory affinity）指进程/线程尽量使用其所在CPU节点的本地内存。Linux默认采用首次触碰（first-touch）策略：内存页在哪个节点被第一次写入，就分配到哪个节点的本地内存。这意味着：如果线程在Node 0上分配并初始化内存，之后被调度到Node 1上运行，它就会持续远程访问Node 0的内存，性能显著下降。

常见优化手段包括：

• numactl --cpunodebind=0 --membind=0：把进程绑定到Node 0的CPU和内存。
• numactl --interleave=all：内存跨节点交错分配，适合带宽敏感型应用。
• numad：自动监控并动态调整NUMA亲和性。
• 在代码中使用 numa_alloc_onnode() 显式指定分配节点。

五、误区与复盘

复盘一个典型场景：某Java服务在双路服务器上吞吐量只有单路的1.3倍，远低于预期的1.8倍。排查发现JVM堆内存由主线程在Node 0上分配，但GC线程和工作线程被调度到两个节点上，导致Node 1上的线程大量远程访问Node 0内存。通过 numactl --cpunodebind=0 --membind=0 绑定后，吞吐量提升至单路的1.7倍。这说明：NUMA亲和性不是可选项，而是多路系统性能调优的必选项。

理解NUMA的节点划分、本地/远程延迟差异、NUMA比例和节点距离，是后续设计多Cluster缓存一致性架构的基础——因为缓存一致性协议必须在这些非均匀延迟的节点之间维护数据的一致性视图，而亲和性策略直接影响一致性流量的分布与开销。