4. 内存分配策略基础：本地分配优先原则、first-touch策略、page allocator在NUMA下的工作流程、zone与node的关系

4.1 NUMA 内存分配的核心原则：本地分配优先

在 NUMA 架构下，内存访问延迟的核心矛盾在于：访问本地内存（Local Memory）的速度远快于访问远程内存（Remote Memory）。因此，Linux 内核的内存分配策略首要原则就是 本地分配优先（Local Allocation First）。

该原则的含义是：当一个 CPU 上的进程请求分配物理内存页时，内核会优先从该 CPU 所在的 NUMA 节点（Node）所关联的内存区域（Zone）中分配。只有当本地节点内存不足时，才会跨节点分配远程内存。

4.2 First-Touch 策略：决定内存页归属的关键

Linux 内核默认采用 First-Touch（首次接触） 策略来分配物理内存页。这意味着，虚拟内存地址的物理页框是在进程首次访问（读或写）该地址时才真正分配的，而不是在 malloc() 或 mmap() 调用时。

First-Touch 策略与 NUMA 本地分配原则紧密结合：

1. 虚拟地址分配： 进程调用 malloc() 时，内核仅在进程的虚拟地址空间中分配一段连续的虚拟地址（VMA），并不立即分配物理页。
2. 缺页异常（Page Fault）： 当进程的某个线程首次访问该虚拟地址时，触发缺页异常。
3. 物理页分配： 内核的缺页异常处理程序会检查当前执行该访问的 CPU 所在的 NUMA 节点，并从该节点的 本地内存区域 分配一个物理页框。
4. 页表映射： 将分配的物理页框映射到该虚拟地址。

4.3 Zone 与 Node 的关系：内存层次结构

理解 NUMA 内存分配，必须厘清 Node 和 Zone 这两个核心概念及其关系。

关系总结： 一个物理系统包含多个 Node，每个 Node 包含多个 Zone。内存分配时，内核首先确定目标 Node（本地优先），然后在目标 Node 的各个 Zone 中按优先级（如 ZONE_NORMAL -> ZONE_DMA32 -> ZONE_DMA）尝试分配。

4.4 Page Allocator 在 NUMA 下的工作流程

Linux 内核的页分配器（Page Allocator）基于 伙伴系统（Buddy System），在 NUMA 环境下，其工作流程遵循严格的层级决策：

1. 确定分配 Node： 根据当前进程的 CPU 亲和性（cpuset）和内存策略（mempolicy），确定首选 NUMA Node。默认策略是 MPOL_DEFAULT，即本地分配优先。
2. 遍历 Zone 列表： 在选定的 Node 内，按照 ZONE_NORMAL → ZONE_DMA32 → ZONE_DMA 的顺序尝试分配。每个 Zone 内部使用伙伴系统查找空闲页块。
3. 水位线检查（Watermark）： 分配前检查 Zone 的空闲页数量是否高于 WMARK_LOW 水位线。如果低于 WMARK_LOW，内核会唤醒 kswapd 内核线程进行异步回收。
4. 分配失败回退： 如果本地 Node 的所有 Zone 都无法满足分配请求（例如内存不足），则触发 跨节点回退（Fallback）。内核会查询 node_distance 表，按距离从近到远依次尝试其他 Node。
5. OOM Killer： 如果所有 Node 都无法分配，且分配请求不可等待，则触发 OOM Killer 终止进程以释放内存。

4.5 关键数据结构与代码路径

NUMA 内存分配的核心数据结构是 struct pglist_data，每个 Node 对应一个实例。其内部包含 struct zone 数组，管理该 Node 下的所有 Zone。

// 每个 NUMA 节点对应一个 pglist_data 结构
struct pglist_data {
    struct zone node_zones[MAX_NR_ZONES]; // 该节点下的所有 Zone
    struct zonelist node_zonelists[MAX_ZONELISTS]; // 备用 Zone 列表（用于 Fallback）
    int nr_zones; // 该节点实际包含的 Zone 数量
    unsigned long node_start_pfn; // 该节点起始物理页框号
    unsigned long node_present_pages; // 该节点总物理页数
    unsigned long node_spanned_pages; // 该节点总跨度页数
    int node_id; // 节点 ID
    // ... 其他字段
};

// 每个 Zone 管理一段连续物理内存
struct zone {
    unsigned long watermark[NR_WMARK]; // 水位线: WMARK_MIN, WMARK_LOW, WMARK_HIGH
    long lowmem_reserve[MAX_NR_ZONES]; // 为低内存 Zone 保留的内存
    struct pglist_data *zone_pgdat; // 指向所属 Node
    struct free_area free_area[MAX_ORDER]; // 伙伴系统的空闲页块链表
    // ... 其他字段
};

4.6 总结：策略、流程与数据结构对照