3、RK3588 NPU架构详解：三核NPU（NPU0/1/2）的硬件特性、算力分配、内存带宽、共享与独立资源
RK3588 是瑞芯微推出的旗舰级 SoC，其内置的 NPU 并非单一计算单元，而是由三个独立的 NPU 核心（NPU0、NPU1、NPU2）组成的异构计算集群。理解这三核的物理布局、寻址空间、调度协同方式，是进行多核 NPU 性能调优的前提。本章将从硬件微架构、算力聚合模型、内存子系统瓶颈以及资源隔离策略四个维度，深入拆解 RK3588 NPU 的底层设计逻辑，帮助开发者建立从“硬件规格”到“软件调度”的完整映射关系。
上图展示了 RK3588 NPU 子系统的整体硬件视图。三个 NPU 核心通过 AXI 总线与 CPU、DDR 以及外围设备相连。每个核心拥有独立的计算单元、中断线和命令队列，但共享 L3 缓存与 DDR 控制器。这种“物理独立、逻辑共享”的设计，决定了多核调度时既需要关注单核利用率，也需要防范内存带宽的争抢。
3.1 三核 NPU 的硬件微架构与独立资源
核心原理：RK3588 的三个 NPU 核心（NPU0/1/2）在物理上是完全对称的，每个核心内部都包含一组 MAC 阵列、激活单元、池化单元以及专用的权重/激活缓冲区。每个核心的峰值算力为 3 TOPS（INT8），三核聚合后理论算力达到 6 TOPS（实际有效算力约 5.7-5.8 TOPS，受限于功耗墙与访存效率）。每个 NPU 核心拥有独立的二级缓存（L2 Cache，约 512KB），用于暂存中间特征图与权重分片，减少对系统总线的访问频率。
独立资源清单：
- 独立命令队列：每个 NPU 核心有独立的 job descriptor 队列，CPU 可以通过不同的基地址寄存器向不同核心提交任务，无需全局加锁。
- 独立中断线：NPU0/1/2 各自连接到 GIC（通用中断控制器）的不同 SPI 中断号，驱动层可以精确判断哪个核心完成了任务。
- 独立电源域：三个核心可以分别进行 DVFS（动态电压频率调节），在低负载时单独关闭某个核心以节省功耗。
- 私有 DMA 通道：每个核心内置 DMA 引擎，支持从 DDR 直接搬运数据到内部 SRAM，搬运过程不占用 CPU 时间。
工程视角：在编写 RKNN 多核调度代码时，驱动层通常将三个核心视为三个独立的“设备节点”（如 /dev/rknpu0、/dev/rknpu1、/dev/rknpu2）。用户态程序可以通过 ioctl 分别向不同节点提交任务，也可以使用 RKNN SDK 提供的多核自动负载均衡接口。理解独立资源的意义在于：当某个核心正在执行大模型推理时，另一个核心可以并行处理小模型任务，互不阻塞。
3.2 算力分配模型：从“三核独立”到“聚合算力”
核心原理：RKNN SDK 提供了三种算力分配模式：单核模式（仅使用 NPU0）、双核模式（NPU0+NPU1）、三核模式（NPU0+NPU1+NPU2）。在聚合模式下，框架会将一个大的卷积层或矩阵乘法按通道维或空间维切分为多个子任务，分别分发到不同核心执行。切分策略由 RKNN 编译器在模型转换时静态决定，运行时调度器负责动态负载均衡。
算力分配的关键参数：
| 参数项 | 单核模式 | 三核聚合模式 | 说明 |
|---|---|---|---|
| 峰值算力 (INT8) | 3 TOPS | 6 TOPS（理论） | 实际约 5.7 TOPS |
| MAC 阵列利用率 | 最高 85% | 约 70-78% | 切分带来额外同步开销 |
| 内存带宽占用 | 约 4-5 GB/s | 约 10-12 GB/s | 多核并发访存竞争加剧 |
| 任务切换延迟 | ~50μs | ~120μs | 需要等待所有核心完成同步 |
| 适用场景 | 低延迟小模型 | 高吞吐大模型 | 需根据实时性要求权衡 |
判断方法：选择算力分配模式时，应遵循以下决策流程：
- 测量模型在单核模式下的推理延迟 L1 与内存带宽占用 B1。
- 估算三核模式的理论加速比：S = L1 / (L1/3 + Δsync)，其中 Δsync 为核间同步与数据切分开销（通常 0.2-0.5ms）。
- 若 S < 1.5，则不建议使用多核模式，因为同步开销会抵消算力增益。
- 若模型内存占用超过单核 L2 缓存（512KB），则多核模式可能因访存竞争导致加速比进一步下降。
经验值：对于 YOLOv5s 这类轻量模型（输入 640x640），单核延迟约 12ms，三核模式约 5.5ms，加速比约 2.2 倍。但对于 ResNet-50（输入 224x224），单核延迟 8ms，三核模式约 4.2ms，加速比仅 1.9 倍。原因是 ResNet 的层数更深，层间同步次数更多。
3.3 内存带宽：三核共享的“隐形瓶颈”
核心原理：虽然三个 NPU 核心各自拥有 L2 缓存，但最终所有数据必须通过系统总线（AXI）访问 DDR。RK3588 的 DDR 控制器支持 64bit 位宽，在 LPDDR4x 4266MT/s 下理论带宽约 34GB/s，但实际可用带宽受限于总线仲裁、刷新开销以及 CPU/GPU 的并发访问，通常只有理论值的 60-70%（约 20-24GB/s）。当三个 NPU 核心同时密集访问内存时，每个核心实际获得的带宽约为 6-8GB/s，这往往成为限制算力发挥的瓶颈。
带宽分配策略：
- 权重驻留：将模型权重预先加载到 NPU 的 L2 缓存中（通过 RKNN 的权重预取接口），减少运行时 DDR 读取。
- 数据复用：在卷积计算中，通过滑动窗口复用输入特征图，将数据从 DDR 到 L2 的搬运次数降低 3-5 倍。
- 异步 DMA：使用 NPU 的私有 DMA 引擎进行数据预取，与计算重叠执行，隐藏访存延迟。
风险提示：在多核调度时，如果三个核心同时执行大规模全连接层（权重巨大），极易造成 DDR 带宽饱和。此时即使算力空闲，整体推理速度也会被内存访问拖慢。建议在模型转换时使用 --optimize_level 2 开启内存复用优化，并考虑将大矩阵分解为多个小矩阵分时计算。
3.4 共享资源与隔离机制：中断、IOMMU 与电源域
核心原理：除了独立资源外，三核 NPU 还共享以下系统级资源：
- IOMMU（输入输出内存管理单元）：负责将 NPU 的虚拟地址转换为物理地址。三核共享同一个 IOMMU 设备，但每个核心有独立的地址空间（通过 PASID 区分）。这允许操作系统为每个核心分配独立的内存区域，防止越界访问。
- 中断控制器（GIC）：三核的中断线统一连接到 GIC，但中断号不同。驱动可以通过中断亲和性设置，将不同核心的中断绑定到不同的 CPU 核心上，实现并行处理。
- 电源域：三个核心共享一个大的电源域，但内部有独立的时钟门控。当某个核心空闲时，硬件自动关闭其时钟，降低动态功耗。
隔离机制的实际应用：在 Linux 内核中，RKNPU 驱动为每个核心创建独立的字符设备，并使用 dma_buf 机制管理内存。当用户态程序向 NPU0 提交任务时，驱动会通过 IOMMU 映射一段物理连续内存，并将映射关系写入 NPU0 的页表基地址寄存器。NPU1 和 NPU2 无法访问这段内存，除非显式共享。
案例拆解：多模型并发推理的带宽冲突与解决
背景：某安防边缘盒子需要同时运行人脸检测（模型A，输入 320x320）与车牌识别（模型B，输入 224x224）。最初方案是将两个模型分别部署在 NPU0 和 NPU1 上，期望并行执行。
初始现象：实际测试发现，模型A 的延迟从单核时的 8ms 增加到 15ms，模型B 从 6ms 增加到 12ms，总吞吐量反而低于串行执行。
分析过程：通过 perf stat 监测 DDR 带宽，发现两个模型并发时带宽占用达到 18GB/s，接近饱和。进一步分析发现，模型A 的检测头（全连接层）和模型B 的分类层同时访问 DDR，导致总线仲裁延迟增加。
优化操作：1) 将模型A 的权重通过 rknn_query 接口预取到 NPU0 的 L2 缓存；2) 将模型B 的输入分辨率降低到 192x192（精度损失 0.5% 以内）；3) 在调度代码中，将模型A 的推理时间片与模型B 错开 2ms（通过条件变量实现软同步）。
结果对比：优化后，模型A 延迟降至 9ms，模型B 降至 7ms，总吞吐量提升 40%。代价是代码复杂度增加，且需要针对不同模型组合调整时间片偏移量。
复盘经验：多核 NPU 调度不能只看算力，必须将 DDR 带宽视为第一稀缺资源。当两个模型的总内存占用超过 12GB/s 时，建议采用时间片轮转而非空间并行。
3.5 常见误区与总结复盘
误区一：认为三核 NPU 一定比单核快三倍。实际上，加速比受限于 Amdahl 定律（串行部分）和内存带宽。对于小模型（< 10MB 权重），单核可能更快。
误区二：忽略 L2 缓存容量。每个核心的 L2 只有 512KB，如果模型中间特征图超过此容量，将导致频繁的缓存换入换出，性能急剧下降。建议使用 rknn_batch_size 参数控制批处理大小，避免特征图膨胀。
误区三：中断处理不当。默认情况下，三个 NPU 的中断可能都路由到 CPU0，导致 CPU0 成为瓶颈。应使用 irqbalance 或手动设置 /proc/irq/<irq_num>/smp_affinity 将中断分散到不同 CPU 核心。