1. AI芯片缓存架构全景

大家好，我是你们的老朋友。今天咱们聊聊AI芯片的缓存架构。

说实话，我入行那会儿，大家还在争论“通用处理器能不能搞定AI”。结果呢？现在谁还敢说这话？AI芯片的缓存设计，跟传统CPU完全是两码事。

为什么？因为AI工作负载太“吃”数据了。你想想看，一个卷积层，权重参数动不动几MB，特征图更是海量。传统CPU那套L1/L2/L3缓存，根本扛不住。

1.1 为什么通用缓存不够用？

我刚开始做AI芯片时，犯过一个低级错误——直接把ARM的缓存架构搬过来用。结果呢？跑ResNet-50，带宽利用率不到30%。

原因很简单：

• 数据复用模式不同：AI计算中，同一个权重会被成千上万个输入复用。传统缓存的设计假设是“时间局部性”，但AI是“空间局部性”占主导。
• 带宽需求爆炸：一个典型的Transformer模型，计算强度（Ops/Byte）可能高达1000+。这意味着每从内存读一个字节，就要做1000次运算。传统缓存的带宽根本喂不饱计算单元。
• 延迟容忍度不同：AI推理可以容忍几百个周期的延迟，但吞吐量必须高。传统缓存追求低延迟，但AI芯片更看重带宽和能效。

1.2 缓存层次结构：L1/L2/L3/LLC的AI映射

嗯，这里我画了一张图，帮你直观理解AI芯片的缓存层次。

1.3 各层缓存的职责分工

说白了，每一级缓存都有自己的“人设”。我习惯这么理解：

缓存层级	典型容量	延迟	AI工作负载中的角色
L1（寄存器/本地SRAM）	16KB - 256KB	1-2周期	存放当前计算窗口的输入特征图和权重切片。说白了就是“手边的工具”
L2（共享Buffer）	512KB - 4MB	5-10周期	存放整个卷积层的权重和中间特征图。我习惯叫它“工作台”
L3/LLC（全局Buffer）	4MB - 32MB	20-50周期	存放多个层的权重和特征图，做数据复用。相当于“仓库”
HBM/GDDR	4GB - 80GB	100-300周期	存放整个模型和数据集。这是“大后方”

1.4 AI工作负载与缓存的映射关系

你可能会问：“不同的AI模型，缓存策略一样吗？”

当然不一样。我举个例子：

• CNN（卷积网络）：权重复用率高，适合把权重放在L2，特征图放在L1。我做过一个项目，把权重放在L2后，带宽需求降低了4倍。
• Transformer：注意力机制需要频繁访问Q、K、V矩阵。这时候L1根本放不下，得靠L2甚至LLC做数据分块。
• GNN（图神经网络）：访问模式是随机的，缓存命中率低。这时候得靠预取和稀疏感知缓存。

1.5 缓存设计的核心权衡

嗯，这里我要强调一个关键点：缓存设计没有银弹。你必须在以下三个维度做权衡：

1. 容量 vs 延迟：容量越大，延迟越高。L1做到1MB？延迟直接翻倍。
2. 带宽 vs 面积：多端口SRAM带宽高，但面积大。我建议用双端口SRAM做L1，单端口做L2。
3. 命中率 vs 复杂度：全相联缓存命中率高，但硬件复杂。组相联是主流选择。

我个人习惯的做法是：先用模拟器跑一遍目标模型，统计出数据复用距离和访问模式，再决定缓存参数。别凭感觉拍脑袋。

1.6 一个实际案例

最后，分享一个我参与过的项目。当时我们要设计一个7nm的AI推理芯片，目标跑BERT-Large。

我们最终确定的缓存层次是：

• L1：32KB/PE，双端口SRAM，存放当前token的Q/K/V切片
• L2：2MB，8路组相联，存放整个注意力头部的权重
• LLC：16MB，16路组相联，存放所有层的权重和中间结果

结果呢？相比直接用CPU缓存架构，带宽利用率从35%提升到了78%。

所以，别小看缓存设计。它决定了你的AI芯片是“猛兽”还是“病猫”。