1.1 NUMA 架构概述
NUMA（Non-Uniform Memory Access，非统一内存访问）是现代多核处理器系统中最重要的内存架构之一。它直接决定了应用程序的内存访问延迟、带宽以及整体性能表现。理解 NUMA 是进行 Linux 内核性能优化的基础。
1.1.1 什么是 NUMA？
在 NUMA 系统中，处理器被划分为多个“节点”（Node），每个节点拥有独立的本地内存控制器和物理内存插槽。CPU 访问本节点内的内存（本地访问）速度较快，而访问其他节点的内存（远程访问）则需要通过互联总线（如 Intel 的 UPI 或 AMD 的 Infinity Fabric），延迟显著增加。
核心概念：“非统一”指的是内存访问延迟不统一——本地内存访问延迟低，远程内存访问延迟高。
1.1.2 NUMA 与 SMP 架构对比
对称多处理（SMP，Symmetric Multi-Processing）是 NUMA 之前的经典架构。在 SMP 中，所有处理器通过共享总线连接到统一的内存池，每个 CPU 访问任意内存地址的延迟相同。下表详细对比了两种架构的关键差异：
| 对比维度 | SMP（对称多处理） | NUMA（非统一内存访问） |
|---|---|---|
| 内存访问延迟 | 统一（Uniform） | 非统一（Non-Uniform） |
| 内存控制器 | 集中式，所有 CPU 共享 | 分布式，每个节点独立 |
| 可扩展性 | 较差（总线竞争随 CPU 数增加而急剧恶化） | 优秀（节点内局部性降低竞争） |
| 典型 CPU 数量 | 2~8 路 | 8~256 路甚至更多 |
| 互联方式 | 共享总线/交叉开关 | 点对点互联（UPI、Infinity Fabric、CXL） |
| 内存带宽 | 受限于单总线带宽 | 随节点数线性增长（聚合带宽高） |
| 软件优化需求 | 低（无需感知拓扑） | 高（需感知节点拓扑和内存亲和性） |
性能启示：在 SMP 架构中，增加 CPU 核心数会导致总线带宽成为瓶颈。NUMA 通过将内存控制器分散到每个节点，有效解决了“内存墙”问题，使得构建百核甚至千核系统成为可能。
1.1.3 NUMA 在当代多核处理器中的重要性
随着处理器核心数量的持续增长，NUMA 已成为所有主流服务器和桌面 CPU 的标配架构。以下是 NUMA 在当代系统中的关键作用：
- 突破内存带宽瓶颈：每个 NUMA 节点拥有独立的内存通道，聚合带宽随节点数线性增加。例如，双路 Intel Xeon 处理器可提供 8~12 个内存通道，总带宽超过 200 GB/s。
- 降低平均访问延迟：通过将数据和计算绑定到同一节点，可以最大化本地内存访问比例，将延迟控制在 100ns 以内，而远程访问可能达到 150~200ns。
- 支持大规模系统：从双路服务器到 8 路/16 路高端系统，NUMA 是唯一能保持良好扩展性的内存架构。
- 影响操作系统调度：Linux 内核的调度器（CFS）和内存管理器必须感知 NUMA 拓扑，才能做出最优的进程/内存放置决策。
1.1.4 典型 NUMA 拓扑示例
在 Linux 系统中，可以通过 numactl --hardware 命令查看当前系统的 NUMA 拓扑。以下是一个双路 Intel Xeon 处理器的典型输出：
# numactl --hardware
available: 2 nodes (0-1)
node 0 cpus: 0 1 2 3 4 5 6 7 16 17 18 19 20 21 22 23
node 0 size: 65536 MB
node 0 free: 48192 MB
node 1 cpus: 8 9 10 11 12 13 14 15 24 25 26 27 28 29 30 31
node 1 size: 65536 MB
node 1 free: 50234 MB
node distances:
node 0 1
0: 10 21
1: 21 10
关键指标解读：
node distances 矩阵中的数值表示相对访问延迟。10 表示本地访问（基准），21 表示远程访问。数值越大，延迟惩罚越严重。在优化时，应优先确保进程和其使用的内存在同一个 node 内。
1.1.5 NUMA 对 Linux 内核优化的意义
作为内核性能优化专家，理解 NUMA 是进行以下优化的前提：
- 进程/线程绑定（CPU Affinity）：使用
taskset或sched_setaffinity()将关键线程绑定到特定 CPU 核心，避免跨节点迁移。 - 内存分配策略：通过
numactl --membind或mbind()系统调用，强制内存从指定节点分配。 - 中断亲和性：将网卡、存储设备的中断绑定到与应用程序相同的 NUMA 节点，减少跨节点中断处理延迟。
- 内核参数调优：调整
kernel.numa_balancing、vm.zone_reclaim_mode等参数，控制内核的自动 NUMA 平衡行为。 - 数据库/中间件优化：在 MySQL、Redis、Nginx 等场景中，显式配置 NUMA 亲和性可带来 10%~50% 的性能提升。
优化黄金法则：“计算在哪里，数据就在哪里”——始终将内存分配在运行该内存的 CPU 所在的 NUMA 节点上。