3. 内存访问模式与缓存效应

在 NumPy 中，向量化代码之所以快，除了避免 Python 解释器逐元素开销之外，还有一个常被忽视却极其关键的原因：内存访问模式是否友好。同样一段遍历二维数组的代码，仅仅把内外层循环顺序对调，执行时间就可能相差数倍。要理解这种差异，需要先建立 CPU 缓存层次、缓存行以及局部性这三个概念。

CPU 缓存层次：为什么内存不是“一步到位”

现代 CPU 的运算速度远高于主存（DRAM）的访问速度。为了弥补这个差距，CPU 内部设置了多级缓存：L1、L2、L3。它们容量依次增大、速度依次降低，但都远快于主存。当 CPU 需要读取某个地址的数据时，会先查 L1，未命中再查 L2、L3，最后才访问主存。一次主存访问的延迟可能是 L1 命中的几十倍甚至上百倍。因此，程序性能在很大程度上取决于缓存命中率：数据越可能已经在缓存中，CPU 等待的时间就越短。

缓存并不是按“单个变量”搬运数据的，而是按缓存行（cache line）成块搬运。典型缓存行大小为 64 字节。也就是说，当你读取一个 8 字节的 float64 元素时，硬件实际上会把包含它的整条 64 字节缓存行一起载入，相当于顺带预取了相邻的 8 个 float64 元素。这个机制正是“空间局部性”能够带来性能收益的物理基础。

空间局部性与时间局部性

空间局部性指：如果一个地址被访问，那么它附近的地址很可能在不久后也被访问。连续遍历一维数组、按行遍历 C 顺序（行优先）存储的二维数组，都能充分利用空间局部性——每次载入的缓存行里的大部分元素随后都会被用到。

时间局部性指：如果一个地址刚被访问过，它很可能在不久后再次被访问。例如在循环中反复使用同一个标量、同一个累加器或同一小块数据，就能命中缓存。NumPy 的向量化运算往往对同一批数组元素做多次操作，时间局部性也参与其中。

两种遍历顺序的对比

考虑一个形状为 (4000, 4000) 的 float64 二维数组，总元素 1600 万个，占用约 128 MB，远超 L3 缓存容量。下面用纯 Python 双重循环分别按“行优先”和“列优先”求和，仅用于观察访问模式差异（实际工程中应直接用 arr.sum() 这类向量化接口）：

import numpy as np
import time

arr = np.random.rand(4000, 4000)   # 约 128 MB，float64
rows, cols = arr.shape

# 顺序 A：外层行、内层列（沿内存连续方向）
t0 = time.perf_counter()
s = 0.0
for i in range(rows):
    for j in range(cols):
        s += arr[i, j]
t_row = time.perf_counter() - t0

# 顺序 B：外层列、内层行（跨行跳跃访问）
t0 = time.perf_counter()
s = 0.0
for j in range(cols):
    for i in range(rows):
        s += arr[i, j]
t_col = time.perf_counter() - t0

print(f"行优先: {t_row:.3f}s  列优先: {t_col:.3f}s")

在顺序 A 中，内层循环沿列方向前进，访问的地址是连续的。第一次读取 arr[i,0] 时，硬件载入一条缓存行，覆盖了 arr[i,0] 到 arr[i,7] 共 8 个元素，接下来 7 次内层迭代几乎都命中 L1，只有每 8 次迭代才发生一次新的缓存行载入。顺序 B 则相反：内层循环沿行方向前进，每次访问 arr[i,j] 后下一个访问 arr[i+1,j]，地址间隔恰好是一整行（4000×8 = 32000 字节），远远超过一条缓存行。于是每次迭代都可能触发一次新的缓存行载入，之前载入的缓存行中其余 7 个元素在本轮内层循环中根本用不到，等外层循环推进到下一列时，这些缓存行早已被挤出缓存。结果是顺序 B 的缓存命中率极低，大量时间花在等待主存上。

需要说明的是，上述代码是教学演示，具体耗时取决于机器、Python 版本和缓存大小，实际运行时行优先通常明显快于列优先，但倍数并非固定值。若想获得更纯粹的缓存效应观察，可以用 C 或 Cython 编写同样的双重循环，排除 Python 解释器开销的干扰，此时两种顺序的差距会更清晰地反映内存访问模式本身。

在 NumPy 中如何顺应缓存

理解了上述机制，就能把结论落到实际写法上。第一，优先使用向量化接口，如 arr.sum()、arr.mean(axis=0)、np.dot，它们内部由 C 循环实现，并且通常按内存连续方向访问，缓存友好度远高于 Python 双重循环。第二，沿最后一个轴做归约通常更快：对 C 顺序数组，arr.sum(axis=1) 沿行内连续方向累加，而 arr.sum(axis=0) 需要跨行跳跃，虽然 NumPy 已做优化，但在大数组上仍可能略慢。第三，避免不必要的转置和拷贝：arr.T 只改变视图的步长，不改变底层内存布局，随后按转置视图遍历仍会跨行跳跃；若确实需要列优先访问，可考虑 np.ascontiguousarray(arr.T) 重新排布内存，用一次拷贝换取后续访问的连续性。

此外，可以用 arr.strides 直接观察步长：对 (4000,4000) 的 float64 数组，strides 为 (32000, 8)，说明沿第 0 轴移动一个元素要跨 32000 字节，沿第 1 轴只需 8 字节。这个数字直观地告诉我们：哪个轴是“连续方向”，遍历和归约就应优先沿它进行。

小结本节要点：CPU 按缓存行成块搬运数据，连续访问能充分利用每条缓存行；行优先遍历顺应 C 顺序数组的内存布局，空间局部性良好、命中率高；列优先遍历跨行跳跃，破坏空间局部性、命中率低。在 NumPy 实践中，应优先向量化、沿连续轴归约、谨慎对待转置视图，并通过 strides 与实测耗时验证自己的判断。