第4章：数据复用性与局部性

各位同学，今天我们来聊聊芯片设计中一个绕不开的话题——数据复用性与局部性。说实话，我见过太多团队在架构设计阶段忽略了这一点，结果后期性能怎么调都上不去。我自己就踩过这个坑，所以今天想把这些经验分享给你们。

先说说两个最基础的概念：时间局部性和空间局部性。你想想看，程序运行时是不是经常反复访问同一块数据？这就是时间局部性。而空间局部性呢，就是访问了某个地址后，大概率会访问它旁边的地址。

举个例子，我在做图像处理芯片时，一个像素点被反复读取做滤波运算。这就是典型的时间局部性。而读取一行像素时，相邻像素也会被加载到缓存中，这就是空间局部性在起作用。

核心要点：

在卷积神经网络中，输入特征图的复用是个大头。我刚开始做AI芯片时，总觉得这很简单，不就是把数据存好嘛。结果第一次流片回来，性能惨不忍睹。

为什么会这样？因为卷积运算时，同一个输入特征图会被多个卷积核反复使用。如果每次都用从DRAM读，那延迟和功耗都受不了。

我个人习惯的做法是：

避坑指南：我曾经在某个项目中，把输入特征图分块分得太小了，结果频繁切换块导致缓存抖动。后来调整为每块包含4行数据，性能提升了30%。

权重复用，说白了就是让同一个权重被多个输入数据共享。在卷积层中，一个卷积核会在整个特征图上滑动，权重被反复使用。

我记得有个项目，团队把所有权重都放在片外存储，每次计算都要从DRAM读权重。结果功耗高得吓人，芯片烫得能煎鸡蛋。

正确的做法是：

这里有个关键点：权重的存储格式。我建议用NHWC格式，这样在读取时能充分利用空间局部性。

输出部分和复用，这个概念可能有些同学不太熟悉。简单说，就是在做卷积时，多个输入通道会累加到同一个输出像素上。如果每次累加都写回DRAM，那效率太低了。

我的做法是：在片上维护一个输出缓冲区，把部分和暂存在里面。等所有输入通道都算完了，再一次性写回DRAM。

注意事项：输出缓冲区的大小要精心设计。太小了，部分和写回太频繁；太大了，片上资源不够用。我一般按输出特征图的一行大小来设计。

说了这么多，我给大家总结几条实战经验：

最后说一句：数据复用性设计得好，芯片性能能翻倍。设计得不好，再牛的算力也白搭。嗯，今天就到这里，大家回去好好消化一下。