存储层次与带宽：片上存储、HBM与GDDR

大家好，我是你们的老朋友。今天我们来聊聊AI芯片里一个特别关键的话题——存储层次与带宽。说实话，我在这个领域摸爬滚打这么多年，见过太多性能瓶颈都卡在存储上。你想想看，算力再强，数据喂不进去，那也是白搭。

为什么存储层次这么重要？

AI推理任务有个特点：数据量大，访问模式重复。我刚开始做芯片设计时，总觉得把计算单元做快就行了。结果呢？有一次项目里，计算单元利用率连30%都不到。查来查去，发现是数据搬运太慢，计算单元一直在等数据。嗯，从那以后，我再也不敢小看存储层次了。

说白了，存储层次就是解决一个核心矛盾：存储容量、访问速度、成本这三者之间的平衡。你不可能用SRAM做大容量存储，那成本会高得离谱；你也不可能用DDR做高速缓存，那延迟会让你崩溃。

片上存储：SRAM与Scratchpad

先说说片上存储。这是离计算单元最近的一层，速度最快，但容量有限。我个人习惯把片上存储分为两类：Cache（缓存）和Scratchpad（便签存储器）。

SRAM Cache

Cache是硬件自动管理的。你写代码时不用管它，硬件会帮你决定哪些数据该留在Cache里。好处是编程简单，坏处是——嗯，你没法完全控制。我在项目中遇到过，某些不规则的数据访问模式，Cache命中率低得可怜，性能直接腰斩。

Scratchpad

Scratchpad是软件管理的。你得自己决定什么时候把数据搬进来、什么时候搬出去。听起来麻烦，但好处是——你可以精确控制。对于AI推理这种访问模式固定的场景，Scratchpad往往比Cache更高效。

片外存储：HBM与GDDR

当数据量超过片上存储容量时，就得用到片外存储了。目前主流的选择是HBM和GDDR。这两者有什么区别？我简单说说。

特性	HBM	GDDR
带宽	极高（1TB/s+）	高（500GB/s+）
容量	中等（8-32GB）	大（16-64GB）
功耗	较低	较高
成本	高	中等
封装	2.5D/3D堆叠	传统PCB

你想想看，HBM通过硅中介层堆叠，带宽可以做到很高。但代价是封装复杂、成本高。GDDR则更传统，成本低，但带宽和功耗都不如HBM。我个人建议：追求极致性能选HBM，追求性价比选GDDR。

带宽计算与瓶颈分析

好了，理论说完了，我们来点实际的。带宽怎么算？瓶颈怎么找？

带宽计算公式

其实很简单：

带宽 = 数据位宽 × 时钟频率 × 数据传输次数/周期

举个例子，一个HBM2E接口，位宽1024位，频率2GHz，双倍数据率（DDR）：

带宽 = 1024 bit × 2 GHz × 2 = 4096 Gbps = 512 GB/s

嗯，这里要注意：实际带宽往往达不到理论值。为什么？因为协议开销、刷新周期、访问冲突等等。我在项目中测过，实际带宽通常只有理论值的70%-85%。

瓶颈分析方法

怎么判断是不是存储带宽成了瓶颈？我一般用三步法：

1. 计算理论需求：你的模型需要多少数据？比如一个卷积层，输入特征图、权重、输出特征图，加起来多少字节？
2. 测量实际带宽：用性能计数器或者仿真工具，看看实际跑了多少带宽。
3. 对比利用率：实际带宽 ÷ 理论带宽，如果低于50%，说明有瓶颈。

知识体系结构图

下面这张图，是我自己总结的存储层次与带宽的核心逻辑。你一看就明白了。

总结一下

存储层次与带宽，说白了就是一场「数据搬运」的游戏。你要做的，就是让数据在正确的时间、出现在正确的位置。我个人经验是：先分析数据流，再设计存储层次。别一上来就堆带宽，那可能是在浪费钱。

嗯，今天就聊到这里。记住：算力是潜力，带宽是现实。没有足够的带宽，再强的算力也只是纸上谈兵。