4. NUMA 架构与 GPU：CPU-GPU 物理拓扑与跨节点访问代价

在数据中心与高性能计算节点中，CPU 与 GPU 并非通过单一总线直连，而是挂载在由多个 NUMA 节点构成的复杂拓扑上。理解 NUMA 节点概念、CPU 与 GPU 的物理连接方式以及跨 NUMA 访问的代价，是进行 GPU 亲和性调度的理论基础。错误的绑定策略会导致内存访问延迟剧增，严重拖累端到端性能。

4.1 NUMA 节点概念

NUMA（Non-Uniform Memory Access）是一种内存架构设计，它将处理器核心和内存划分为多个“节点”。每个节点拥有本地内存和本地 PCIe 总线，访问本地内存的延迟远低于访问远端节点内存。

4.2 CPU 与 GPU 的物理拓扑

现代服务器（如 AMD EPYC、Intel Xeon Scalable）通常包含 2 个或 4 个物理 CPU 插槽，每个插槽对应一个或多个 NUMA 节点。GPU 通过 PCIe 或 NVLink 连接到特定 CPU 的 PCIe Root Complex 下。

下图展示了一个典型的双路服务器中，CPU 与 GPU 的物理拓扑关系：

4.3 跨 NUMA 访问代价

当 CPU 线程与 GPU 不在同一个 NUMA 节点时，数据路径必须经过跨节点互联通道（如 Infinity Fabric、UPI）。这种跨 NUMA 访问会带来以下代价：

• 延迟增加： 跨 NUMA 访问延迟通常是本地访问的 1.5 到 3 倍。对于 GPU 数据搬运（cudaMemcpy），这意味着每次传输的启动延迟更高。
• 带宽受限： 跨 NUMA 互联带宽远低于本地内存带宽。当多个 GPU 同时进行跨节点传输时，互联链路容易成为瓶颈。
• CPU 侧缓存污染： 远端内存访问会占用本地 CPU 的缓存行，导致本地计算性能下降。

4.4 如何识别 NUMA 拓扑

在 Linux 系统中，可以通过以下命令快速查看 NUMA 节点与 GPU 的绑定关系：

# 查看 NUMA 节点信息
numactl --hardware

# 查看 GPU 所属 PCIe 总线及 NUMA 节点
nvidia-smi topo -m

# 查看 CPU 核心与 NUMA 节点的映射
lscpu | grep -i numa

输出示例（nvidia-smi topo -m）：

        GPU0    GPU1    GPU2    GPU3    CPU Affinity    NUMA Affinity
GPU0     X      NV2     SYS     SYS     0-31            N/A
GPU1    NV2      X      SYS     SYS     0-31            N/A
GPU2    SYS     SYS      X      NV2     32-63           N/A
GPU3    SYS     SYS     NV2      X      32-63           N/A

上表中，NV2 表示通过 NVLink 直连（最佳），SYS 表示需要通过系统 PCIe 跨 NUMA 访问（代价高）。GPU0/1 与 CPU 核心 0-31 在同一 NUMA 节点，GPU2/3 与 CPU 核心 32-63 在同一 NUMA 节点。

4.5 亲和性调度原则

基于 NUMA 拓扑，GPU 亲和性调度的核心原则如下：

1. 绑定 CPU 线程到 GPU 所在 NUMA 节点： 使用 numactl --cpunodebind=N 或 taskset 将数据预处理/驱动线程固定在 GPU 的本地 CPU 核心上。
2. 分配内存到本地 NUMA 节点： 使用 numactl --membind=N 或 libnuma API 确保主机端内存分配在 GPU 所在节点。
3. 避免跨节点数据传输： 在 MPI 或多进程场景中，尽量让每个进程处理其本地 NUMA 节点下的 GPU。
4. 利用 NVLink 拓扑： 如果 GPU 之间通过 NVLink 直连，优先将通信密集的 GPU 对调度在同一 NUMA 节点或 NVLink 域内。