4. 缓存命中与失效：命中率计算、三种失效原因与缓存污染

大家好，我是你们的讲师。今天我们来聊聊缓存命中与失效。这个话题，说白了就是搞清楚你的数据到底在不在缓存里，以及为什么不在。

我在做NPU算子优化的时候，经常遇到一种情况：明明算法设计得很漂亮，跑起来却慢得像蜗牛。一查性能计数器，发现缓存命中率低得可怜。嗯，这时候就得回头看看缓存失效的问题了。

4.1 缓存命中率：你的数据在不在“快车道”上？

缓存命中率，就是CPU或NPU访问数据时，在缓存里找到数据的概率。公式很简单：

命中率 = 缓存命中次数 / 总访问次数 × 100%

举个例子。假设你的NPU执行一个卷积算子，需要读取1000次权重数据。其中850次在缓存里找到了，150次没找到，得去主存拿。那么命中率就是85%。

为什么命中率这么重要？因为访问延迟差太多了。L1缓存访问大概1-2个时钟周期，L2大概10-20个，主存呢？几百个周期。你想想看，如果命中率从95%掉到80%，整体性能可能直接腰斩。

4.2 缓存失效的三种原因

缓存失效，说白了就是数据不在缓存里。但为什么会不在？主要有三种原因。我在项目中都踩过坑，一个一个说。

4.2.1 强制失效（Compulsory Miss）

这是最“无辜”的一种失效。数据第一次被访问，缓存里当然没有。就像你第一次去一个新餐厅，肯定不知道它家的招牌菜好不好吃。

强制失效无法完全避免，但可以缓解。比如：

• 预取（Prefetching）：在数据被用到之前，提前加载到缓存里。我在做矩阵乘法算子时，就用了软件预取，把下一块数据提前拉进来。
• 更大的缓存行：一次加载更多数据，减少首次访问的次数。但要注意，缓存行太大也会带来其他问题。

4.2.2 容量失效（Capacity Miss）

缓存满了，装不下更多数据了。就像你的衣柜只有那么大，衣服多了就得扔一些出去。

容量失效通常发生在工作集（working set）大于缓存容量的时候。比如你的NPU要处理一个很大的特征图，L1缓存只有32KB，根本装不下。

怎么解决？

• 分块（Tiling）：把大矩阵切成小块，让每块都能放进缓存。这是我最常用的手法。
• 数据复用：尽量让同一份数据在缓存里多待一会儿，别急着替换掉。

我记得有一次优化一个全连接层，工作集是256KB，L2缓存只有128KB。容量失效导致命中率只有60%。后来用了分块，每块64KB，命中率直接升到92%。

4.2.3 冲突失效（Conflict Miss）

这是最“坑”的一种失效。缓存明明还有空间，但数据偏偏被映射到了同一个缓存行上，互相“打架”。

为什么会这样？因为缓存是组相联的（set-associative）。多个内存地址可能映射到同一个缓存组（set）。如果这些地址被频繁访问，就会互相踢来踢去。

举个例子：

// 假设缓存是2路组相联，每组2个缓存行
// 地址A和地址B映射到同一组
// 访问顺序：A, B, A, B, A, B...
// 每次访问都会踢掉对方，导致冲突失效

我在项目中遇到过最典型的场景：两个大数组，它们的地址刚好相差2的幂次方，结果在缓存里疯狂冲突。性能直接崩了。

4.3 缓存污染问题

缓存污染，就是缓存里存了不该存的数据，把有用的数据给挤走了。这比缓存失效更隐蔽，也更难发现。

举个例子。你的NPU在做卷积时，需要频繁读取权重和输入特征图。但如果你不小心把一些临时变量也放进了缓存，这些临时变量可能只用一次，却把权重给踢出去了。这就是污染。

缓存污染的常见原因：

• 流式数据：只读一次的数据，比如从内存拷贝到NPU的输入。这些数据用完就应该被标记为“可替换”。
• 非临时访问（Non-temporal access）：有些指令可以告诉缓存“这个数据我用完就扔”，比如x86的MOVNT指令。但很多开发者不知道用。
• 错误的预取：预取太多，或者预取了不需要的数据，反而污染了缓存。

4.4 知识体系图

下面这张图总结了缓存命中与失效的核心逻辑。我建议你把它记在脑子里。

4.5 总结与实战建议

好了，我们来捋一捋今天的内容。

• 缓存命中率：衡量缓存效率的核心指标。我建议你在性能调优时，先看这个数。
• 三种失效：强制失效靠预取，容量失效靠分块，冲突失效靠地址填充。各有各的解法。
• 缓存污染：别让“一次性数据”污染了缓存。用非临时访问指令，或者手动标记数据优先级。

想要更多资料，联系可可