NPU基础架构：理解RKNN NPU的硬件架构、核心数量、计算单元及内存层次

要掌握RKNN多核NPU调度，首先必须深入理解其硬件底层的构成逻辑。NPU并非一个黑盒，而是一个由计算单元、存储层次、数据通路和调度接口组成的精密系统。本章将拆解RKNN NPU的硬件架构，从核心数量与计算单元的组织方式，到内存层次与数据搬运的路径，帮助您建立对NPU硬件资源的全局认知，为后续多核调度策略的制定奠定坚实的硬件基础。

上图展示了RKNN NPU的宏观架构。从主机接口到任务调度器，再到核心阵列和内存层次，数据流与指令流沿着清晰的路径传递。理解这张图的关键在于：NPU的性能不仅取决于核心的峰值算力，更取决于数据能否在内存层次中高效流动。下面我们将逐层拆解每个模块的细节。

核心数量与计算单元：MAC阵列与SIMD的协同

RKNN NPU的核心数量因芯片型号而异。以RK3588为例，其内置的NPU拥有3个核心（Core），而RK3576则集成了2个核心。每个核心内部并非一个单一的计算单元，而是由多种计算资源组成的复合体。

• MAC（乘加）阵列：这是NPU执行卷积运算的核心引擎。每个核心包含数百个MAC单元，它们以脉动阵列（Systolic Array）或类似结构排列，能够在单个时钟周期内完成大量乘加操作。例如，RK3588的每个核心可能包含256个MAC单元，3个核心总计768个MAC，在1GHz主频下可提供约1.5 TOPS的INT8算力。
• SIMD（单指令多数据）单元：用于执行非卷积类运算，如激活函数（ReLU、Sigmoid）、池化（Pooling）、归一化（BatchNorm）等。SIMD单元通常以128位或256位宽度工作，能够并行处理多个数据元素。
• 向量与标量单元：向量单元处理逐元素运算，标量单元处理控制流和地址计算。这些单元共同保证了NPU能够灵活应对不同形状的张量运算。

核心之间的协同方式决定了多核调度的效率。在RKNN工具链中，每个核心可以独立执行一个子图（Subgraph），也可以协同执行同一个大算子（如超大卷积）。这种灵活性要求开发者理解核心间的通信开销——当多个核心需要共享中间结果时，数据必须经过L2缓存或直接通过总线传输，这会引入额外的延迟。

内存层次：从寄存器到DDR的存储金字塔

NPU的内存层次设计直接决定了数据访问的能耗和延迟。RKNN NPU的内存结构遵循经典的存储金字塔原则，但针对神经网络计算做了特殊优化。

存储层级	容量（典型值）	访问延迟	用途
寄存器文件	几十KB	1个时钟周期	当前计算指令的操作数暂存
L1 SRAM（每核私有）	256KB - 512KB	2-4个时钟周期	当前层的输入特征图、权重分块
L2 共享缓存	1MB - 2MB	10-20个时钟周期	多核共享的中间结果、权重交换区
外部DDR内存	2GB - 16GB	100-200个时钟周期	模型权重、完整特征图、临时缓冲区

理解这个层次结构对调度至关重要。一个常见的性能瓶颈是内存墙——当计算单元等待数据从DDR加载时，算力无法充分利用。RKNN工具链通过数据分块（Tiling）和双缓冲（Double Buffering）技术来缓解这一问题。数据分块将大张量切分为适合L1 SRAM的小块，而双缓冲则让数据预取与计算重叠执行。

数据通路与调度接口：命令队列与DMA引擎

NPU的调度并非由CPU逐指令控制，而是通过命令队列（Command Queue）机制实现异步执行。CPU将一系列NPU指令（如加载权重、执行卷积、存储结果）打包成命令描述符，写入NPU的命令队列。NPU的任务调度器从队列中取出命令，按依赖关系分发给各个核心执行。

// 典型的RKNN NPU命令序列（伪代码）
// 1. 加载权重到L2缓存
load_weight(weight_tensor, dst=L2_ADDR, size=1MB);
// 2. 将输入特征图从DDR搬运到Core0的L1
dma_transfer(src=DDR_ADDR_IN, dst=CORE0_L1_ADDR, size=256KB);
// 3. 执行卷积计算（Core0）
conv2d(input=CORE0_L1_ADDR, weight=L2_ADDR, output=CORE0_L1_OUT);
// 4. 将结果写回DDR
dma_transfer(src=CORE0_L1_OUT, dst=DDR_ADDR_OUT, size=128KB);
// 5. 通知CPU任务完成
send_interrupt(IRQ_NUM);

DMA（直接内存访问）引擎在数据搬运中扮演核心角色。它独立于计算单元运行，能够在DDR、L2缓存和L1 SRAM之间进行异步数据传输。多核调度时，DMA通道的分配需要精心规划——如果多个核心同时发起大量DMA请求，总线带宽将成为新的瓶颈。

案例拆解：RK3588三核NPU的模型并发调度

我们以一个实际场景来理解硬件架构对调度策略的影响。假设在RK3588平台上部署一个实时视频分析应用，需要同时运行两个模型：一个轻量级的人脸检测模型（模型A，约2MB权重）和一个重型的人体关键点模型（模型B，约15MB权重）。

常见误区与总结复盘

在理解NPU硬件架构时，开发者常陷入以下误区：

• 误区一：核心越多性能必然线性提升。实际上，多核并行带来的加速比受限于阿姆达尔定律（Amdahl's Law）——串行部分（如数据加载、结果合并）会稀释并行收益。当模型较小或数据搬运占比高时，单核可能比多核更高效。
• 误区二：忽略L2缓存的共享冲突。多个核心同时访问L2缓存时，可能发生缓存抖动（Cache Thrashing），导致命中率骤降。合理做法是为不同核心分配L2缓存的不同分区（如果硬件支持），或错开数据访问时间。
• 误区三：只关注算力TOPS指标。TOPS是峰值算力，实际吞吐量受限于内存带宽和调度开销。一个TOPS很高但内存带宽不足的NPU，在大型模型上可能表现不佳。