一、NPU与存算一体概述：从冯·诺依曼瓶颈到存算一体架构的演进

大家好，我是你们这堂课的主讲人。在芯片行业摸爬滚打了十几年，我见过太多架构从纸上谈兵到落地量产，也踩过不少坑。今天咱们聊的NPU和存算一体，说白了就是一场针对“内存墙”的攻坚战。你想想看，现在的AI模型动辄几十亿参数，传统架构早就扛不住了。

1.1 冯·诺依曼瓶颈：那个绕不开的“内存墙”

先说说冯·诺依曼架构。这个1945年提出的经典设计，把计算和存储分开了。CPU只管算，内存只管存，中间靠总线传数据。听起来挺合理对吧？但问题就出在这条总线上。

我在项目中遇到过这样一个场景：跑一个简单的卷积神经网络，CPU大部分时间都在等数据从内存搬过来。计算本身可能只占20%的时间，剩下80%都在“等”。这就是著名的“冯·诺依曼瓶颈”，也叫“内存墙”。

为什么会这样？因为数据搬运的功耗远大于计算本身。我给你们算笔账：一次32位浮点乘法消耗约3.7pJ，但从DDR内存搬一个32位数据要消耗约640pJ。差了将近200倍！说白了，大部分能量都浪费在“跑腿”上了。

1.2 NPU：为神经网络量身定做的“偏科生”

NPU，全称Neural Processing Unit，神经网络处理器。它跟CPU、GPU不一样，是个“偏科生”。CPU什么都能干，但什么都不精；GPU擅长并行矩阵运算，但通用性还是太强。NPU呢？它只干一件事——加速神经网络推理和训练。

我个人习惯把NPU比作“流水线上的专用工具”。CPU是瑞士军刀，GPU是电钻，NPU就是专门拧螺丝的电动螺丝刀。虽然功能单一，但效率极高。

NPU的核心设计思路有几点：

• 大规模并行计算单元：成百上千个MAC（乘累加）单元同时干活
• 数据流驱动：数据一来就开始算，不用等指令
• 低精度计算：int8甚至int4，够用就行，省带宽省功耗

1.3 存算一体：把计算搬进存储器

好了，前面铺垫了这么多，终于到主角了。存算一体（Compute-in-Memory，CIM）的核心思想就一句话：让数据少跑路。

传统架构里，数据从存储器搬到计算单元，算完再搬回去。存算一体呢？直接在存储器里完成计算。你想想看，这省掉了多少数据搬运的功耗和延迟。

我举个例子。假设你要做1000次乘累加操作：

• 传统架构：每次都要从SRAM读权重和输入，算完写回。数据搬运次数 = 1000次读 + 1000次写
• 存算一体：权重存在存储器里不动，输入进来直接在存储阵列里算。数据搬运次数 = 1000次读（输入） + 0次写（结果就地累加）

说白了，存算一体就是把计算单元“塞进”了存储器里。常见的实现方式有：

• SRAM-based CIM：用SRAM单元做乘累加，速度快，但面积大
• RRAM/PCM-based CIM：用新型非易失存储器，密度高，但写寿命有限
• DRAM-based CIM：在DRAM里加计算逻辑，容量大，但延迟稍高

1.4 存算一体的核心优势

存算一体到底好在哪？我总结了三点：

优势	说明	量化效果（典型值）
降低数据搬运功耗	计算在存储器内部完成，省掉总线传输	功耗降低5-10倍
减少延迟	不用等数据从远端搬过来	延迟降低3-5倍
提高带宽利用率	存储阵列内部带宽远高于外部总线	有效带宽提升10倍以上

你想想看，一个典型的NPU芯片，如果采用存算一体架构，同样的功耗预算下，算力可以翻倍。这就是为什么现在各大芯片公司都在押注这个方向。

1.5 知识体系总览

下面这张图是我自己画的，把本章的核心逻辑串起来了。从冯·诺依曼瓶颈出发，到NPU的出现，再到存算一体的解决方案，一目了然。

1.6 小结

这一章我们聊了三个核心概念：冯·诺依曼瓶颈、NPU、存算一体。说白了，整个演进逻辑就是：传统架构扛不住AI计算的需求 → 催生了专用NPU → NPU又遇到内存墙 → 存算一体来破局。

我个人觉得，存算一体是未来十年AI芯片最重要的技术方向之一。虽然目前还有不少挑战（比如精度、写寿命、工艺兼容性），但方向是对的。下一章我们会深入NPU的微架构设计，看看那些MAC阵列到底是怎么工作的。