4. 内存访问局部性原理：时间局部性、空间局部性、顺序访问与随机访问的性能差异

在DPDK高性能数据平面中，内存访问模式直接决定了缓存命中率，进而影响报文处理吞吐量。理解时间局部性、空间局部性以及顺序/随机访问的性能差异，是进行缓存优化设计的前提。

4.1 时间局部性（Temporal Locality）

定义：如果一个内存位置被访问，那么在不久的将来它很可能被再次访问。这意味着频繁访问的数据应尽量保持在CPU缓存中，避免被换出。

DPDK中的体现：

• mbuf复用：释放后的mbuf被放入per-core缓存池，短时间内再次分配时，该mbuf仍在L1/L2缓存中。
• 流表查询：同一流的连续报文会反复访问相同的流表条目，利用时间局部性减少查表延迟。
• 统计计数器：per-core的报文统计变量在循环中反复累加，应保持缓存驻留。

4.2 空间局部性（Spatial Locality）

定义：如果一个内存位置被访问，那么它附近的位置很可能在不久的将来被访问。CPU缓存以cache line（通常64字节）为单位加载数据，因此连续内存布局能最大化单次缓存行填充的收益。

DPDK中的体现：

• 结构体对齐：将经常一起访问的字段（如mbuf的data_len、data_off、buf_addr）放在同一个cache line内。
• 批量收包：rte_eth_rx_burst()一次性接收多个报文，这些报文描述符在内存中连续排列，触发硬件预取。
• 表项预取：使用rte_prefetch0()提前将下一个流表条目加载到缓存。

4.3 顺序访问 vs 随机访问

顺序访问：按内存地址递增或递减方向连续读取数据。硬件预取器能识别固定步长模式，提前将后续数据加载到缓存，几乎无cache miss。

随机访问：访问地址无规律，预取器无法预测，每次访问都可能触发cache line miss，导致数十纳秒的延迟。

DPDK中的典型对比：

• 顺序访问：报文数据从网卡DMA到连续内存，CPU逐字节解析头部，预取器完美工作。
• 随机访问：哈希表查找、流表匹配、ACL规则遍历，每次访问地址取决于报文特征，预取失效。

4.4 内存访问模式对比表

4.5 内存访问模式与缓存层次结构

下图展示了不同访问模式在CPU缓存层次中的命中路径差异：

4.6 实践：测量顺序与随机访问性能差异

以下代码演示在DPDK环境下测量顺序访问与随机访问的延迟差异：

// 顺序访问测试：遍历连续数组
static void test_sequential_access(uint64_t *buf, size_t len) {
    uint64_t sum = 0;
    uint64_t start = rte_rdtsc();
    for (size_t i = 0; i < len; i++) {
        sum += buf[i];  // 连续地址，预取器高效工作
    }
    uint64_t end = rte_rdtsc();
    printf("Sequential access: %lu cycles, sum=%lu\n", end - start, sum);
}

// 随机访问测试：通过随机索引访问
static void test_random_access(uint64_t *buf, uint32_t *idx, size_t len) {
    uint64_t sum = 0;
    uint64_t start = rte_rdtsc();
    for (size_t i = 0; i < len; i++) {
        sum += buf[idx[i]];  // 随机索引，预取失效
    }
    uint64_t end = rte_rdtsc();
    printf("Random access: %lu cycles, sum=%lu\n", end - start, sum);
}

// 在DPDK主循环中调用
int main(int argc, char **argv) {
    rte_eal_init(argc, argv);
    
    size_t arr_len = 1024 * 1024;  // 1M元素
    uint64_t *buf = rte_malloc(NULL, arr_len * sizeof(uint64_t), 0);
    uint32_t *rand_idx = rte_malloc(NULL, arr_len * sizeof(uint32_t), 0);
    
    // 初始化数据和随机索引
    for (size_t i = 0; i < arr_len; i++) {
        buf[i] = i;
        rand_idx[i] = rand() % arr_len;
    }
    
    // 预热缓存
    test_sequential_access(buf, arr_len);
    test_random_access(buf, rand_idx, arr_len);
    
    // 正式测量
    test_sequential_access(buf, arr_len);
    test_random_access(buf, rand_idx, arr_len);
    
    rte_free(buf);
    rte_free(rand_idx);
    return 0;
}

4.7 局部性优化设计原则

1. 数据分组：将热数据（频繁访问）与冷数据（偶尔访问）分离到不同结构体或内存区域，避免冷数据污染缓存。
2. 结构体重排：按访问频率排列结构体字段，将同一cache line内的字段设计为同时访问。
3. 批量处理：每次处理多个报文，利用顺序访问优势，减少随机查表次数。
4. per-core缓存：为每个逻辑核分配独立的数据副本，消除锁竞争的同时利用时间局部性。
5. 显式预取：在随机访问前使用rte_prefetch0()提前加载数据，将主存访问延迟隐藏在处理其他报文的过程中。