1. NPU集群概述

大家好，我是你们这门课的主讲。今天咱们聊聊NPU集群的“家底”——架构怎么变的、集群怎么连的、以及为什么编译优化这么重要。

说实话，我最早接触NPU的时候，它还是个“小透明”。那时候做AI加速，大家更爱用GPU。但近几年，NPU的发展速度让我这个老工程师都感到惊讶。嗯，咱们先从架构说起。

NPU架构演进：从专用协处理器到可编程计算引擎

NPU的架构演进，说白了就是一条“从死板到灵活”的路。

• 第一代：固定功能协处理器。只能跑固定的卷积、池化操作。我当年调过一个项目，想改个激活函数，得重新流片。那叫一个痛苦。
• 第二代：可配置数据流架构。引入了脉动阵列（Systolic Array）和片上缓存层级。你可以配置数据流方向，但指令集还是受限。
• 第三代：可编程张量引擎。支持SIMD、VLIW，甚至有了独立的标量处理器。说白了，它更像一个“AI专用CPU”了。
• 第四代（当前）：异构融合架构。NPU内部集成了向量单元、矩阵单元、稀疏加速器、甚至RISC-V控制核。我最近在调一个7nm的NPU，里面光DMA引擎就有4种。

集群拓扑结构：NPU之间怎么“说话”

单卡NPU再强，也架不住大模型。集群拓扑决定了通信效率。我见过不少项目，算力堆上去了，但通信成了瓶颈。

常见的拓扑结构有这几种：

拓扑类型	特点	典型场景
星型（Star）	中心节点转发，延迟高	小规模原型验证
环形（Ring）	相邻节点直连，带宽利用率高	数据并行训练
2D Mesh	网格状连接，可扩展性好	大规模集群
3D Torus	立体环绕，延迟更低	超级计算机
全互联（All-to-All）	任意节点直连，成本极高	高端HPC

我个人习惯在项目初期先用Ring拓扑做原型。为什么？因为它简单，调试方便。但一旦节点数超过64，Ring的延迟就会爆炸。这时候就得考虑2D Mesh或者更复杂的结构了。

编译优化的重要性：为什么不能“裸写”NPU

你想想看，NPU的硬件越来越复杂。有脉动阵列、有向量单元、有各种缓存层级。如果让程序员直接写汇编，那得疯掉。

编译优化，就是在这中间搭一座桥。它负责：

• 指令调度：把计算和访存重叠起来，隐藏延迟。
• 数据布局：决定张量怎么分块、怎么排布，才能最大化利用缓存。
• 算子融合：把多个小算子合并成一个，减少中间结果的读写。
• 通信优化：自动插入同步指令，避免死锁。

我举个例子。之前有个团队，手写了一个矩阵乘的NPU kernel，性能看起来不错。但放到集群里跑，发现通信开销占了60%。后来我们用编译器做了自动流水线调度，把计算和通信重叠起来，性能直接翻倍。

知识体系总览

下面这张图，是我自己梳理的本章核心逻辑。你可以把它当作一个“地图”，后面每节课都会对应到其中的一个模块。

这张图从下往上看。硬件基础决定了你能做什么，编译优化决定了你做得多好，最终落到性能目标和应用场景上。每一层都依赖下一层，但反过来，上层的问题也会倒逼下层改进。

好了，这一章就到这里。记住，理解NPU集群，不能只看硬件，也不能只看软件。你得把两者串起来想。后面我们会一步步深入每个环节。