DPDK CPU亲和性绑定在NUMA架构下优化 - 第1节
1.1 什么是 NUMA
NUMA（Non-Uniform Memory Access，非统一内存访问）是一种为多处理器系统设计的内存架构。在 NUMA 系统中，每个处理器核心（或一组核心）被分配到一个称为 NUMA 节点 的本地域中，每个节点拥有自己的本地内存控制器和物理内存。CPU 访问本地内存的速度远快于访问其他节点（远程节点）的内存，这种访问延迟的差异是 NUMA 架构的核心特征。
NUMA 的出现是为了解决传统 SMP（对称多处理）架构在核心数量增加时面临的总线带宽瓶颈和内存访问冲突问题。通过将内存控制器分散到各个节点，NUMA 实现了更好的可扩展性。
关键概念： NUMA 的本质是“局部性”——让 CPU 尽可能访问其所在节点的本地内存，以降低延迟、提升带宽。
1.2 UMA 与 NUMA 对比
在理解 NUMA 之前，有必要回顾其前身——UMA（Uniform Memory Access，统一内存访问）架构。下表从多个维度对比了两种架构的核心差异：
| 对比维度 | UMA（统一内存访问） | NUMA（非统一内存访问） |
|---|---|---|
| 内存控制器位置 | 集中式，位于北桥或系统控制器 | 分布式，集成在每个 CPU 节点内 |
| 内存访问延迟 | 所有 CPU 访问内存延迟一致 | 本地访问快，远程访问慢（差异可达 1.5~3 倍） |
| 内存带宽 | 共享单一内存总线，带宽受限 | 每个节点独立内存通道，总带宽随节点数增加 |
| 可扩展性 | 较差，通常支持 2~8 个核心 | 优秀，可支持数十至数百个核心 |
| 编程复杂度 | 低，无需关注物理位置 | 高，需考虑 CPU 亲和性与内存分配策略 |
| 典型应用场景 | 早期 PC、嵌入式系统 | 服务器、数据中心、高性能计算（HPC） |
DPDK 视角： 在 UMA 架构下，DPDK 无需关心内存位置；但在 NUMA 架构下，如果网卡和应用程序运行在不同节点，跨节点内存访问将显著增加数据包处理延迟，降低吞吐量。这正是 CPU 亲和性绑定的核心优化动机。
1.3 NUMA 节点与内存控制器
一个典型的 NUMA 系统由多个 NUMA 节点 组成，每个节点包含以下核心组件：
- CPU 核心（组）：一个或多个物理核心，共享 L3 缓存。
- 本地内存控制器：直接管理该节点的物理内存（DRAM）。
- 本地内存通道：连接内存控制器与 DIMM 插槽的物理链路。
- 互联接口：通过高速总线（如 Intel QPI/UPI、AMD Infinity Fabric）连接其他节点。
下图展示了一个双节点 NUMA 系统的内部结构：
内存控制器的作用
内存控制器（Integrated Memory Controller, IMC）是 NUMA 节点的关键组件，负责：
- 地址映射：将物理地址转换为本地 DIMM 上的行/列/库地址。
- 调度与排序：优化内存访问请求的顺序，最大化带宽利用率。
- ECC 校验：在服务器平台上提供错误检测与纠正。
- 电源管理：根据负载动态调整内存频率和电压。
性能陷阱： 在 DPDK 应用中，如果数据包缓冲区（mbuf）从 Node 0 的内存池分配，但处理线程绑定在 Node 1 的 CPU 上，每次数据包访问都会触发远程内存访问。这种跨节点访问的延迟开销在高吞吐场景下（如 100Gbps 线速）会直接导致丢包和性能崩溃。
NUMA 节点识别与拓扑
在 Linux 系统中，可以通过以下命令查看 NUMA 拓扑：
# 查看 NUMA 节点数量和分布
lscpu | grep -i numa
# 查看每个节点的 CPU 核心列表
lscpu | grep "NUMA node"
# 查看每个节点的内存大小
numactl --hardware
# 查看进程/线程当前的 NUMA 策略
cat /proc/<pid>/numa_maps典型输出示例（双节点系统）：
NUMA node0 CPU(s): 0,2,4,6,8,10,12,14
NUMA node1 CPU(s): 1,3,5,7,9,11,13,15
NUMA node0 size: 65536 MB
NUMA node1 size: 65536 MB
NUMA node0 free: 32000 MB
NUMA node1 free: 35000 MB从输出可以看出，Node 0 包含偶数编号的 CPU 核心，Node 1 包含奇数编号的核心，每个节点拥有 64GB 本地内存。这种物理拓扑信息是后续进行 CPU 亲和性绑定的基础。
1.4 本章小结
- NUMA 通过分布式内存控制器解决了多核系统的可扩展性问题，但引入了非均匀的内存访问延迟。
- 与 UMA 相比，NUMA 在带宽和扩展性上具有显著优势，但要求软件感知物理拓扑。
- 每个 NUMA 节点包含 CPU 核心、本地内存控制器和物理内存，节点间通过高速互联总线通信。
- DPDK 性能优化的第一步是理解系统的 NUMA 拓扑，确保数据包处理线程与网卡、内存池位于同一节点。