内存架构速览：现代计算机的内存层次结构
大家好，我是你们的老朋友。今天咱们聊聊内存层次结构。说实话，我见过太多性能问题，最后都卡在内存上。代码写得再漂亮，数据拿不到，一切都是白搭。
你想想看，CPU 现在动不动就几十个核，主频好几 GHz。但内存呢？它的速度增长远远跟不上 CPU。这就造成了所谓的「内存墙」。怎么解决？靠的就是这套精心设计的层次结构。
核心观点： 内存层次结构存在的唯一目的，就是让 CPU 尽可能少等数据。用更快的存储（虽然小）去喂饱这个「计算怪兽」。
3.1 为什么需要层次结构？
直接说结论：没有层次结构，现代 CPU 的性能会暴跌 90% 以上。这不是夸张。我几年前优化过一个数据库引擎，发现 CPU 有 70% 的时间在 stalled（等待数据）。后来通过调整数据布局，把命中率提上去，吞吐量直接翻倍。
为什么会这样？因为 DRAM 的访问延迟大约是 100ns，而 CPU 一个周期才 0.3ns（3GHz）。算一下：CPU 等一次内存访问，相当于等了 300 个周期。这 300 个周期能干多少事？几十条指令都执行完了。
所以，硬件工程师想了个办法：在 CPU 和内存之间，加几层又快又小的缓存。
3.2 缓存层次：L1 / L2 / L3
现代 CPU 的缓存结构，大致是这样的：
| 层级 | 典型大小 | 访问延迟 | 位置 |
|---|---|---|---|
| L1 Cache | 32KB - 64KB（每核） | ~1ns（3-4 cycles） | CPU 核心内部 |
| L2 Cache | 256KB - 512KB（每核） | ~3ns（10-12 cycles） | CPU 核心附近 |
| L3 Cache | 8MB - 32MB（共享） | ~10ns（30-40 cycles） | 所有核心共享 |
| 主存（DRAM） | 8GB - 512GB | ~100ns（300+ cycles） | 内存插槽 |
注意看延迟的差距：L1 比主存快了整整两个数量级。这就是为什么我们要拼命让数据留在 L1 里。
我个人习惯把 L1 想象成「桌面上的笔记本」——随手就能拿到。L2 是「旁边的书柜」，L3 是「隔壁的资料室」，主存就是「楼下的图书馆」。你想想看，查资料时肯定先翻笔记本，对吧？
3.3 缓存行与局部性原理
这里有个关键概念：缓存行（Cache Line）。缓存不是按字节存的，而是按块存的。x86 架构下，一块就是 64 字节。也就是说，你读一个 4 字节的 int，CPU 会连它周围的 60 个字节一起拉进缓存。
为什么要这么干？因为空间局部性。程序访问一个地址后，大概率会访问它附近的地址。比如遍历数组，就是典型的空间局部性。
实战经验： 我优化过一个日志处理程序。原来每条日志是一个对象，散落在内存各处。遍历时缓存命中率极低。后来我把日志按字段打包成结构体数组（AoS → SoA），让同一字段连续存放。结果：L1 缺失率从 40% 降到 5%，处理速度提升了 3 倍。
另一个是时间局部性：刚用过的数据，很可能马上再用。比如循环里的计数器，每次迭代都访问，就应该留在缓存里。
3.4 虚拟内存：给每个进程一个「假世界」
虚拟内存这层，很多同学觉得抽象。说白了，它就是操作系统给每个进程画的大饼——「你尽管用，地址空间 48 位，够你折腾」。但实际上，物理内存可能只有 16GB。
怎么实现的？通过页表（Page Table）。虚拟地址 → 物理地址的映射，按页（通常 4KB）管理。访问一个虚拟地址，CPU 先查 TLB（快表），TLB 命中就直接拿到物理地址；没命中，就得去查页表，那可就慢了。
避坑指南： 我曾经遇到过一个诡异的问题：程序性能每隔几秒就掉一次。查了半天，发现是 TLB 抖动。进程的活跃数据跨越了太多内存页，TLB 装不下，频繁 miss。解决方案：用大页（Huge Pages，2MB 或 1GB），减少页表项数量。TLB 命中率从 85% 提升到 99.9%，性能恢复。
3.5 整体架构图
下面这张图，把整个内存层次串起来。我建议你多看几遍，理解数据是怎么流动的。
3.6 对性能优化的启示
了解了这些，咱们做性能优化就有了方向：
- 减少缓存缺失：让数据访问模式符合局部性原理。数组遍历比链表快，就是因为空间局部性好。
- 利用缓存行：把经常一起访问的数据放在同一个 64 字节块内。比如结构体字段重排，把热点字段放一起。
- 避免伪共享：多线程下，不同核心修改同一缓存行的不同变量，会导致缓存行 bouncing。我踩过这个坑，性能从线性缩放变成断崖下跌。解决方案：用缓存行填充（padding）隔离变量。
- 大页内存：对于大内存应用（数据库、搜索引擎），启用 Huge Pages 能显著降低 TLB miss。
一句话总结： 内存层次结构不是理论，是每天都要面对的实战问题。理解它，你写的代码才能跑出硬件的真实性能。
嗯，这一章就到这里。记住这些概念，后面我们会用具体案例，一步步教你如何把数据流映射到最优的内存位置上。