2. 缓存层次结构基础：L1/L2/L3缓存的基本概念、容量、延迟与带宽的权衡

大家好，我是老周。今天我们来聊聊缓存层次结构。说实话，这是AI芯片设计里最绕不开的话题之一。你想想看，一个AI加速器里，计算单元跑得飞快，但数据如果喂不上去，再强的算力也是白搭。我见过太多项目，算力堆得很高，最后性能瓶颈全卡在缓存上。

先问个问题：为什么不用一块又大又快的内存，非要搞L1、L2、L3这么麻烦？

原因很简单——物理限制。SRAM做大了，延迟就上去了；做小了，容量又不够。我当年在做一个7nm的AI芯片时，就踩过这个坑。我们一开始想用一块超大L2搞定所有数据局部性，结果跑起来发现，命中率是高了，但延迟直接把流水线堵死了。

所以，业界通用的做法是：用多级缓存来平衡容量、延迟和带宽。说白了，就是让最常用的数据待在最快的地方，不常用的数据放到慢一点但更大的地方。

核心思想： 时间局部性 + 空间局部性。最近用过的数据，很可能马上再用；相邻地址的数据，很可能一起被用到。

L1缓存，离计算单元最近。它的使命只有一个——快。

在AI芯片里，L1通常分为指令缓存和数据缓存。不过说实话，现在很多AI芯片的指令是预编译好的，L1指令缓存反而没那么关键。我更关注L1数据缓存——它直接决定了矩阵乘法和卷积操作的数据供给速度。

我的经验： 设计L1时，别光盯着延迟。我曾经在一个项目里把L1延迟压到了2周期，结果面积暴涨了30%。后来发现，3周期延迟配合预取，性能几乎没差。嗯，有时候“够用就好”才是真道理。

L2缓存是L1的后备队。当L1 miss时，数据从L2取。它的设计目标很明确——在可接受的延迟内，提供更大的容量。

这里有个关键点：缓存行大小。L1的缓存行通常是64字节，L2可以做到128甚至256字节。为什么？因为AI应用里，数据访问模式往往是连续的。你取一个权重，很可能接下来要取相邻的权重。更大的缓存行，能提高预取效率。

我记得有一次做性能分析，发现某个算子L2 miss率特别高。查了半天，原来是缓存行太小，导致频繁miss。改成128字节后，性能直接提升了15%。

L3缓存，通常是所有核心共享的。它的角色是减少对主存的访问。主存（DDR或HBM）的延迟动辄上百纳秒，而L3的延迟一般在30~50个时钟周期。虽然比L2慢，但比主存快一个数量级。

在AI芯片里，L3缓存的设计有个特殊之处——它经常被用作“暂存器”。什么意思呢？就是有些中间结果，不需要写回主存，直接在L3里暂存一下，供下一个计算单元使用。这样做的好处是，省掉了主存的带宽和延迟开销。

避坑指南： 我曾经在一个项目中，把L3设计得太大，结果导致芯片面积爆炸。后来发现，很多数据其实根本用不到L3，直接在L2之间做数据转发就够了。所以，L3的容量不是越大越好，要看实际的数据流模式。

这是缓存设计的核心问题。我画了一张图，帮你理清思路：

这张图很直观。从左到右，容量越来越大，延迟也越来越高。但带宽呢？其实L1和L3的带宽都很高，只是原因不同——L1是因为离得近，L3是因为用了更宽的数据通路和更多的bank。

在实际设计中，我们经常要回答一个问题：到底该把预算花在L1上，还是L2上？

我的建议是：先分析你的应用场景。如果是卷积神经网络，数据复用率高，L1大一点有好处。如果是Transformer，注意力机制需要频繁访问不同位置的数据，L2和L3的命中率更关键。

我参与过一个AI推理芯片的设计。最初的设计方案是：每个核心64KB L1，1MB L2，16MB共享L3。跑ResNet-50时，性能还不错。但跑BERT时，L2 miss率高达40%。

后来我们做了个调整：把L2从1MB增加到2MB，L3从16MB减到12MB。结果呢？BERT的性能提升了22%，而ResNet-50几乎没受影响。为什么？因为BERT的模型参数更大，L2的容量提升直接减少了L3的访问次数。

关键结论： 缓存层次结构的设计，没有银弹。你必须根据目标应用的数据访问模式，反复迭代调优。

好了，这一章的内容就到这里。我们讲了L1、L2、L3的基本概念，也聊了容量、延迟和带宽之间的权衡。说白了，缓存设计就是一场“速度与容量”的博弈。你不可能既要又要，只能找到最适合你应用的那个平衡点。

下一章，我们会深入缓存的一致性协议。嗯，那又是一个让人头疼的话题。不过别担心，我会用实际案例帮你理清楚。