2. 缓存基础原理

大家好，我是你们的老朋友。今天咱们聊聊缓存的基础原理。说实话，这部分内容看起来有点枯燥，但它是整个AI芯片性能优化的基石。我当年刚入行时，觉得缓存不就是个临时存数据的地方嘛，有啥好研究的？直到第一次做AI加速器项目，被缓存命中率折磨得死去活来，才明白这里面的门道有多深。

2.1 SRAM vs DRAM：速度与成本的博弈

先说说SRAM和DRAM的区别。这俩兄弟，一个快但贵，一个慢但便宜。说白了，就是芯片设计里的“鱼和熊掌”。

SRAM（静态随机存取存储器）：用6个晶体管存1个比特。速度快，功耗低，但面积大、成本高。我习惯把它比作“跑车”——性能好，但养不起太多。

DRAM（动态随机存取存储器）：用1个晶体管加1个电容存1个比特。密度高、成本低，但需要定期刷新，速度慢。这就像“公交车”——装得多，但跑不快。

在AI芯片里，缓存几乎都用SRAM。为什么？因为AI推理对延迟极其敏感。你想想看，一个卷积层要反复读权重和特征图，如果每次都要去DRAM里拿，那延迟直接爆炸。

2.2 缓存行与组相联：数据怎么放？

缓存不是随便存数据的。它把内存分成一个个“缓存行”（Cache Line），通常是64字节。为什么是64字节？因为AI模型里的权重和特征图，访问模式大多是连续的，一次拿64字节，能充分利用空间局部性。

但问题来了：内存地址那么多，缓存这么小，怎么映射？这就引出了组相联（Set-Associative）的概念。

我简单解释一下：

• 直接映射：每个内存地址只能去一个缓存位置。简单，但冲突率高。
• 全相联：任何地址可以去任何位置。灵活，但查找慢。
• 组相联：折中方案。把缓存分成若干组，每个地址只能去某一组，但组内可以自由选择。

AI芯片里，最常见的是4路或8路组相联。为什么？因为AI工作负载的访问模式相对规律，4路已经能解决大部分冲突，再高就浪费面积了。

嗯，这里要注意：组相联的“路数”不是越多越好。我见过一个团队，为了追求极致命中率，搞了16路组相联，结果面积翻倍，时序还跑不过。后来我建议他们改成8路，命中率只降了2%，但面积和功耗都省了一大截。

2.3 写策略：写直达 vs 写回

数据写回缓存时，有两种策略：写直达（Write-Through）和写回（Write-Back）。

写直达：每次写操作，同时更新缓存和下一级存储。简单、一致性好，但带宽浪费严重。你想想看，AI芯片里权重更新频繁，每次写都穿透到DRAM，那总线得堵成什么样？

写回：只更新缓存，标记为“脏”（Dirty），等缓存行被替换时才写回下一级。效率高，但一致性管理复杂。

我个人习惯：AI芯片的L1缓存用写回，L2缓存用写直达。为什么？L1离计算单元近，写回能减少写延迟；L2作为中间层，写直达能简化一致性协议。

2.4 替换策略：LRU、伪LRU与Random

缓存满了怎么办？得踢掉一个旧行，腾地方给新行。这就是替换策略的用武之地。

LRU（最近最少使用）：踢掉最久没被访问的行。理论上最优，但实现复杂——需要记录每个缓存行的访问时间戳，或者维护一个链表。在AI芯片里，LRU的硬件开销太大，很少直接用。

伪LRU（Pseudo-LRU）：用二叉树近似LRU。每个节点用1比特记录“最近访问过哪边”，查找和更新都很快。我习惯用伪LRU，因为它硬件开销小，性能接近LRU。

Random（随机替换）：随机选一行踢掉。实现最简单，但命中率不稳定。不过，在某些AI工作负载下，Random的表现居然不输LRU——因为AI的访问模式太规律了，随机踢和LRU踢的效果差不多。

我个人建议：L1缓存用伪LRU，L2缓存用Random。为什么？L1对延迟敏感，伪LRU能保证高命中率；L2容量大，Random的硬件节省能省出不少面积，而且命中率损失可控。

2.5 知识体系总览

下面这张图，是我自己画的缓存基础原理知识体系。你可以把它当作本章的“地图”，随时回来对照。