第4章 内存子系统调优：Cache层次结构与命中率优化、MMU/TLB配置、内存带宽与延迟优化

内存子系统，说白了就是CPU和外部存储之间的“快递系统”。Cache是高速缓存，MMU是地址翻译官，TLB是翻译官的速记本。这三者配合不好，CPU就得干等数据，性能直接腰斩。我这些年调过的系统里，至少有一半的性能问题都出在这里。

4.1 Cache层次结构：为什么L1比L3快那么多？

现代嵌入式SoC通常采用三级Cache结构。L1分指令和数据，L2统一缓存，L3可选且通常为多核共享。每一级的速度和容量差异巨大：

层级	典型容量	典型延迟（CPU周期）	关联方式
L1 I-Cache	16-64 KB	2-4 周期	直接映射或2路组相联
L1 D-Cache	16-64 KB	2-4 周期	直接映射或2路组相联
L2 Cache	128-512 KB	10-20 周期	4-8路组相联
L3 Cache	512 KB - 几MB	30-50 周期	8-16路组相联

为什么会这样？L1必须紧贴CPU核心，用SRAM实现，面积和功耗都贵。L3可以做得大，但走线长，延迟自然就上去了。我个人习惯在项目初期就画一张Cache拓扑图，搞清楚数据流动路径，否则后面调优就是瞎忙活。

4.2 命中率优化：实战中的“三板斧”

命中率是Cache性能的晴雨表。我见过不少团队盯着理论峰值带宽看，结果实际跑起来只有30%的利用率——问题全出在Cache miss上。

4.2.1 数据布局优化

数组遍历方向直接影响Cache行利用率。C语言默认行优先存储，按列遍历会导致严重的Cache抖动：

// 坏例子：按列遍历，每次访问都跨Cache行
for (int j = 0; j < N; j++)
    for (int i = 0; i < M; i++)
        sum += matrix[i][j];  // 每次访问都miss

// 好例子：按行遍历，充分利用Cache行
for (int i = 0; i < M; i++)
    for (int j = 0; j < N; j++)
        sum += matrix[i][j];  // 连续访问，命中率高

我曾经在一个视频编解码项目里，把关键数据结构从链表改成数组，并做了对齐处理（64字节对齐匹配Cache行大小），L1 miss率直接从15%降到了3%。

4.2.2 预取与软件流水

硬件预取器不是万能的。对于不规则访问模式，手动插入预取指令效果更明显：

// ARM平台示例：手动预取
for (int i = 0; i < N; i += 4) {
    __builtin_prefetch(&data[i + 8], 0, 3);  // 预取读，高局部性
    process(data[i]);
    process(data[i+1]);
    process(data[i+2]);
    process(data[i+3]);
}

4.2.3 伪共享（False Sharing）的坑

多核系统中，不同核心修改同一Cache行内的不同变量，会导致Cache一致性协议频繁同步。这玩意儿隐蔽性极强，性能下降50%你都未必能定位到。

// 坏例子：两个变量在同一个Cache行
int counter_a __attribute__((aligned(64)));
int counter_b __attribute__((aligned(64)));  // 紧挨着a

// 好例子：用填充隔离
int counter_a __attribute__((aligned(64)));
char pad[60];  // 填充到64字节
int counter_b __attribute__((aligned(64)));

4.3 MMU/TLB配置：地址翻译的“最后一公里”

MMU负责虚拟地址到物理地址的翻译，TLB是它的快表。TLB miss的代价极高——一次miss可能需要几十到几百个周期去查页表。

4.3.1 页大小选择

大页能覆盖更多虚拟地址空间，减少TLB miss。但大页也有代价：内部碎片和交换开销增加。

页大小	TLB覆盖范围（假设64项）	典型场景
4 KB	256 KB	通用嵌入式系统
64 KB	4 MB	多媒体处理
1 MB	64 MB	大内存映射、GPU驱动
16 MB	1 GB	高性能计算、数据库

我个人习惯：如果工作集超过2MB，就考虑用64KB或1MB大页。在Linux上可以通过hugetlbfs或transparent hugepage来配置。

4.3.2 TLB锁定与预加载

有些处理器支持TLB锁定，把关键页表项固定在TLB中，避免被替换。这在实时系统中特别有用：

// 伪代码：锁定关键TLB项
tlb_lock_entry(0, &critical_data_page);  // 锁定第0项
tlb_lock_entry(1, &interrupt_vector_page); // 锁定第1项
// 这些页永远不会被踢出TLB

4.4 内存带宽与延迟优化

带宽和延迟是内存子系统的两个维度。带宽看吞吐，延迟看响应。很多工程师只盯着带宽，忽略了延迟对实时性的影响。

4.4.1 内存控制器配置

DDR控制器参数直接影响带宽和延迟。关键参数包括：

• Burst Length：8或16。长Burst提升带宽，但增加延迟。
• CAS Latency (CL)：越低越好，但受限于频率和电压。
• Bank Interleaving：开启后能隐藏行激活延迟。
• Write Recovery Time：写后到读的间隔，调小能提升写带宽。

我曾经在一个视频采集卡项目里，把DDR频率从1600 MT/s降到1333 MT/s，但把CL从11降到7，实际延迟反而降低了15%。你想想看，有时候频率不是越高越好。

4.4.2 访问模式优化

DDR的物理特性决定了它喜欢连续访问，讨厌随机跳转。连续访问能充分利用Burst传输和Bank预充电：

// 坏例子：随机访问，触发大量行切换
for (int i = 0; i < N; i++) {
    int idx = random_index[i];  // 随机索引
    process(buffer[idx]);
}

// 好例子：顺序访问，DDR行命中率高
for (int i = 0; i < N; i++) {
    process(buffer[i]);  // 连续地址
}

4.4.3 多核场景下的带宽分配

多核共享内存控制器时，带宽竞争会导致每个核都变慢。我建议做以下配置：

• QoS优先级：给实时任务更高的内存访问优先级。
• 带宽限制：对非实时核设置带宽上限，防止它抢占资源。
• NUMA感知：如果SoC有多个内存控制器，让核访问就近的内存节点。

4.5 本章知识体系

下面这张图总结了内存子系统调优的核心脉络：