第1章 内存层次结构与访问延迟

1.1 内存层次结构概述

现代计算机系统采用多层内存层次结构来弥合CPU运算速度与内存访问速度之间的巨大差距。每一层在容量、延迟和带宽之间做出不同权衡：越靠近CPU的层次容量越小、延迟越低、成本越高；越远离CPU的层次容量越大、延迟越高、成本越低。

典型内存层次从寄存器开始，依次经过L1缓存、L2缓存、L3缓存、主存（DRAM），直至持久存储（SSD/HDD）。本章聚焦于前四层，这些层直接受到CPU微架构和操作系统的共同管理，对程序执行性能影响最为显著。

1.2 L1/L2/L3缓存：容量、延迟与关联性

缓存的基本工作原理是时间局部性（刚访问过的数据很快会被再次访问）和空间局部性（访问过的数据附近的数据也会被访问）。硬件以缓存行（通常64字节）为单位在缓存与主存之间传输数据。

1.2.1 缓存组织方式

• 直接映射缓存：主存中每个地址只能映射到缓存中的一个固定位置。冲突率高。
• 全相联缓存：主存中任何地址可以映射到缓存中任意位置。灵活但硬件成本高。
• N路组相联缓存：折中方案，每个地址映射到一组中的N个位置之一。L1通常为8～12路，L2/L3通常为12～20路。

1.2.2 缓存命中与延迟层次

访问数据时，硬件并行检查L1→L2→L3。各缓存层的命中延迟和未命中惩罚如下表所示。

1.2.3 查看本地缓存参数

Linux系统下可通过以下命令查看CPU缓存信息。

# 查看所有缓存的详细参数
lscpu | grep -i cache

# 使用 getconf 获取具体缓存行大小
getconf LEVEL1_DCACHE_LINESIZE     # L1 数据缓存行大小
getconf LEVEL2_CACHE_SIZE          # L2 缓存总大小
getconf LEVEL3_CACHE_ASSOC         # L3 缓存关联度

# 查看 sysfs 中的缓存拓扑
ls -l /sys/devices/system/cpu/cpu0/cache/
cat /sys/devices/system/cpu/cpu0/cache/index0/type
cat /sys/devices/system/cpu/cpu0/cache/index0/size

1.3 TLB与页表：虚拟地址到物理地址的桥梁

操作系统通过页表将程序的虚拟地址转换为物理地址。每次内存访问都需要一次页表查询——若通过多级页表（如x86-64使用4级页表），单纯依靠硬件遍历页表会产生极高的延迟开销。

TLB（Translation Lookaside Buffer）是CPU内部专门缓存最近使用的虚拟地址→物理地址映射关系的硬件单元。TLB本质上是页表项的缓存，其组织方式与数据缓存类似，也分为L1 TLB和L2 TLB。

1.3.1 TLB结构与延迟

1.3.2 页大小与TLB覆盖范围

TLB条目数有限，因此大页（Huge Pages）能显著扩大TLB覆盖范围，降低TLB miss率。

# 查看系统支持的页大小
grep -E "pagesize|hugepages" /proc/meminfo

# 启用透明大页（Transparent Huge Pages, THP）
echo always > /sys/kernel/mm/transparent_hugepage/enabled

# 手动预留2MB大页（示例：预留1024个）
echo 1024 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

# 查看当前大页使用情况
cat /proc/meminfo | grep -i huge

1.4 NUMA节点拓扑：非一致性内存访问

在多插槽（多路）服务器中，每个CPU插槽及其本地内存构成一个NUMA节点。CPU访问自己节点的本地内存延迟较低，访问远程节点的内存延迟更高，且可能带来带宽争用。

1.4.1 NUMA拓扑查看

# 查看NUMA节点拓扑
lscpu | grep -i numa
numactl --hardware

# 示例输出（2路服务器，每路1个NUMA节点）
# available: 2 nodes (0-1)
# node 0 cpus: 0 1 2 3 4 5 6 7
# node 0 size: 64256 MB
# node 0 free: 12345 MB
# node 1 cpus: 8 9 10 11 12 13 14 15
# node 1 size: 65536 MB
# node 1 free: 23456 MB
# node distances:
#   node   0   1
#     0   10  21
#     1   21  10

node distances 表中的数值是相对延迟因子，数值越小代表访问延迟越低。本例中本地访问为10，远程访问为21，远程访问延迟是本地2.1倍。

1.4.2 NUMA感知的内存分配策略

• 默认策略（localalloc）： 优先在运行线程所在的节点分配内存。
• 绑定策略（bind）： 强制在指定节点分配，用于内存局部性敏感应用。
• 交错策略（interleave）： 在多个节点间轮询分配，适用于带宽密集型工作负载。

# 启动程序并绑定到node0执行，内存也在node0分配
numactl --cpubind=0 --membind=0 ./myapp

# 启动程序，内存跨所有节点交错分配
numactl --interleave=all ./myapp

1.5 程序访问模式对延迟的影响

程序对内存的访问模式直接决定了缓存和TLB的命中率，进而影响整体延迟。以下是三种典型访问模式的延迟影响分析。

1.5.1 顺序访问 vs. 随机访问

顺序访问（stride=1）充分利用硬件预取器和空间局部性，缓存行被高效加载。随机访问（stride较大或跳转访问）几乎每步都可能触发缓存未命中和TLB未命中。

// 示例：对比顺序访问与随机访问延迟
#include <stdint.h>
#include <stdlib.h>
#include <stdio.h>
#include <time.h>

#define SIZE (64 * 1024 * 1024)  // 64M个int，即256MB

int main() {
    int *arr = (int*)malloc(SIZE * sizeof(int));
    // 顺序访问
    clock_t start = clock();
    for (size_t i = 0; i < SIZE; i++) arr[i] += 1;
    clock_t seq_time = clock() - start;

    // 随机访问（已打乱顺序）
    for (size_t i = 0; i < SIZE; i++) arr[i] = i;
    for (size_t i = 0; i < SIZE; i++) {
        size_t j = rand() % SIZE;
        int tmp = arr[i]; arr[i] = arr[j]; arr[j] = tmp;
    }
    start = clock();
    for (size_t i = 0; i < SIZE; i++) arr[arr[i]] += 1;
    clock_t rand_time = clock() - start;

    printf("顺序访问: %.3f sec\n", (double)seq_time/CLOCKS_PER_SEC);
    printf("随机访问: %.3f sec\n", (double)rand_time/CLOCKS_PER_SEC);
    printf("随机/顺序比: %.2fx\n", 
           (double)rand_time / seq_time);
    free(arr);
    return 0;
}

典型结果：随机访问比顺序访问慢10～50倍，差异随数据集大小增大而扩大。

1.5.2 缓存行伪共享（False Sharing）

当多个线程分别修改位于同一缓存行的不同变量时，缓存一致性协议会在核心间频繁失效，导致性能骤降。

// 伪共享示例：两个计数器恰好位于同一缓存行
struct shared_data {
    int counter_a;  // 线程1 修改
    int counter_b;  // 线程2 修改
} __attribute__((aligned(64)));  // 强制对齐到64字节可避免

1.5.3 大跨度遍历与TLB压力

以远大于页大小（4KB）为步长遍历大数组，每次访问都会触发TLB miss（若数据集超过TLB覆盖范围），造成额外百周期级延迟。

// 大跨度遍历触发TLB miss
size_t stride = 4096;  // 4KB步长（刚好跨一页）
for (size_t i = 0; i < LARGE_SIZE; i += stride) {
    arr[i] += 1;  // 每次访问都miss TLB
}
// 优化后：先按页内连续访问，再跨页
size_t page_size = 4096;
size_t page_count = LARGE_SIZE / page_size;
for (size_t p = 0; p < page_count; p++) {
    for (size_t off = 0; off < page_size; off += 4) {
        arr[p * page_size + off] += 1;  // 每页内顺序访问
    }
}

1.6 性能分析工具与优化路径

1.6.1 硬件性能计数器（PMC）监测

利用perf工具可以直接读取CPU硬件计数器，精确分析缓存和TLB行为。

# 统计L1数据缓存miss率
perf stat -e L1-dcache-loads,L1-dcache-load-misses ./myapp

# 统计LLC（L3）缓存miss
perf stat -e LLC-loads,LLC-load-misses ./myapp

# 统计TLB miss
perf stat -e dTLB-loads,dTLB-load-misses,iTLB-loads,iTLB-load-misses ./myapp

# 一次性查看所有缓存相关事件
perf stat -e cycles,instructions,cache-references,cache-misses \
         -e L1-dcache-loads,L1-dcache-load-misses \
         -e LLC-loads,LLC-load-misses \
         -e dTLB-loads,dTLB-load-misses ./myapp

1.6.2 优化优先级路径

1. 减少L3 miss：压缩数据、优化数据布局、使用更紧凑的数据结构。
2. 减少TLB miss：使用大页、保持访问局部性、减小工作集大小。
3. 避免伪共享：缓存行对齐、读写分离、线程本地存储。
4. 利用NUMA局部性：线程绑定CPU节点、内存绑定节点、交错分配。

1.7 本章小结

• 内存层次结构由寄存器→L1→L2→L3→主存构成，每层延迟相差一个数量级。
• L1/L2缓存私有于核心，L3缓存共享，NUMA架构下远程访问延迟显著增加。
• TLB缓存虚拟地址映射，大页可大幅降低TLB miss。
• 顺序访问、伪共享、大跨度遍历是影响缓存/TLB命中率的主要编程模式。
• 使用lscpu、numactl、perf等工具可以精确诊断内存层级性能问题。