NPU硬件原理与编程模型：计算单元、存储层次、指令流水线及常见编程接口
在RISC-V多核处理器中集成NPU（神经网络处理单元）已成为端侧AI推理的主流方案。NPU并非简单的“加速器外设”，而是一个具有独立指令集、专用存储层次和独特流水线结构的可编程计算引擎。理解NPU的硬件微架构是进行算子映射、访存优化和指令调度的前提。本章将从计算单元的组织方式、存储层次与数据复用、指令流水线的执行模型以及主流编程接口四个维度展开，帮助学员建立从硬件寄存器到上层算子库的完整认知链路。
3.1 NPU计算单元：从MAC阵列到向量ALU的协同设计
NPU的计算单元是执行神经网络算子的物理载体。与CPU的通用ALU不同，NPU计算单元针对矩阵乘法和卷积运算进行了高度定制。典型的NPU内部包含三类计算资源：MAC（乘累加）阵列、向量ALU和激活/池化专用单元。MAC阵列通常组织为二维脉动阵列或SIMD阵列，例如16×16的MAC阵列可以在单周期内完成256次乘累加操作。向量ALU则负责逐元素运算，如BatchNorm、逐元素加法和激活函数的前置计算。激活单元通常内置ReLU、Sigmoid、Tanh等常见非线性函数的查找表或分段线性近似电路。
在实际的RISC-V+NPU异构SoC中，计算单元的选择直接影响算子映射策略。例如，对于3×3卷积，MAC阵列的输入带宽决定了数据复用效率；对于全连接层，MAC阵列的利用率则取决于权重矩阵的排布方式。理解计算单元的组织方式，是后续进行算子拆分和指令调度的基础。
| 计算资源类型 | 典型规格 | 适用算子 | 性能瓶颈 |
|---|---|---|---|
| MAC阵列（脉动/SIMD） | 16×16 ~ 32×32 | 卷积、GEMM、FC | 输入带宽、权重复用率 |
| 向量ALU | 128~512通道 | BatchNorm、逐元素加、激活 | 访存延迟、指令发射宽度 |
| 激活/池化单元 | 查找表 + 流水线 | ReLU、Sigmoid、MaxPool | 非线性函数精度、吞吐 |
3.2 存储层次与数据复用：SRAM分级与DMA调度
NPU的存储层次设计遵循“数据就近计算”的原则。典型NPU包含三级存储：寄存器文件（RF）、片上SRAM（通常分为权重SRAM和激活SRAM）以及外部DDR。片上SRAM的容量通常在256KB到2MB之间，远小于DDR，但带宽可以做到DDR的5~10倍。以本章参考设计为例，CTRL SRAM用于存放指令和标量参数，Weight SRAM用于缓存模型权重，Activation SRAM用于缓存中间特征图。DMA引擎负责在DDR和SRAM之间搬运数据，支持二维搬运和 stride 配置，以减少CPU的介入。
数据复用是NPU性能优化的核心。在卷积计算中，输入特征图的通道维度和行维度存在天然的复用机会。通过将权重驻留在Weight SRAM中，并将输入分块（tiling）搬运到Activation SRAM，可以显著减少DDR访问次数。例如，对于一个3×3卷积，若权重为256通道输出、128通道输入，则权重大小为256×128×3×3×2字节（FP16）≈ 1.1MB，无法一次性放入512KB的Weight SRAM，此时需要按输出通道分块，每块处理64个输出通道，分4次完成。
3.3 指令流水线与VLIW调度：从取指到写回的并行执行
NPU的指令流水线通常采用VLIW（超长指令字）架构，每条指令包含多个操作槽，可同时控制MAC阵列、向量ALU、DMA和存储访问。典型的流水线阶段包括：取指（IF）、译码（ID）、发射（IS）、执行（EX）和写回（WB）。与CPU的乱序执行不同，NPU的指令调度由编译器静态完成，硬件按序发射。这意味着指令排列顺序直接决定了硬件资源的利用率。
在RISC-V多核系统中，NPU通常作为从设备挂载在总线上，RISC-V核通过MMIO或专用指令（如自定义扩展指令）向NPU下发任务描述符。NPU内部有一个微控制器（通常为轻量级RISC-V核或专用状态机）负责解析任务描述符，生成内部微指令序列。这种设计使得NPU可以异步执行，RISC-V核在下发任务后可以继续执行其他计算或控制逻辑。
// 伪代码示例：NPU任务描述符结构
struct npu_task_desc {
uint32_t cmd_type; // 0: CONV, 1: POOL, 2: GEMM
uint32_t src_addr; // 输入特征图地址（DDR）
uint32_t weight_addr; // 权重地址（DDR）
uint32_t dst_addr; // 输出地址（DDR）
uint32_t src_size; // 输入尺寸（C×H×W）
uint32_t weight_size; // 权重尺寸（K×C×R×S）
uint32_t dst_size; // 输出尺寸（K×H_out×W_out）
uint32_t flags; // 量化参数、激活类型等
};3.4 常见编程接口：从寄存器映射到编译器工具链
NPU的编程接口分为三个层次：底层寄存器接口、驱动层接口和编译器/算子库接口。底层寄存器接口通过MMIO访问NPU的控制寄存器，包括任务队列寄存器、状态寄存器、中断使能寄存器等。驱动层接口通常以Linux内核模块的形式提供，通过IOCTL系统调用向用户空间暴露NPU的分配、提交、同步等操作。编译器工具链（如TVM、TFLite Micro）则将ONNX或TFLite模型转换为NPU可执行的指令序列。
在实际开发中，RISC-V核与NPU的交互流程通常为：首先通过驱动分配物理连续的内存缓冲区，将输入数据和权重拷贝到该缓冲区；然后构造任务描述符并写入NPU的任务队列；最后通过写门铃寄存器触发NPU开始执行。NPU执行完成后通过中断通知RISC-V核，核在中断处理函数中读取状态寄存器并回收缓冲区。
3.5 案例拆解：基于RISC-V+NPU的YOLOv5s目标检测部署
本案例展示一个完整的NPU部署流程。目标平台为集成单核NPU的RISC-V SoC，NPU规格为16×16 MAC阵列，Weight SRAM 512KB，Activation SRAM 1MB，DDR带宽12.8GB/s。模型为YOLOv5s，参数量约7.2M，计算量约16.5 GMACs。
初始目标与约束：要求端到端推理延迟小于100ms，功耗低于2W。模型原始为FP32，需量化为INT8以适配NPU。
分析过程：首先使用性能分析工具（如perf）对模型各层进行剖析，发现Conv层占总计算量的92%，其中前三个CSP模块的卷积层占60%。由于Weight SRAM仅512KB，而YOLOv5s的权重总量约7.2MB，必须进行权重分块。选择输出通道分块策略，每块处理32个输出通道，则每块权重约32×256×3×3×1字节（INT8）≈ 72KB，可完全驻留SRAM。
实际操作步骤：
- 使用TVM的NPU后端将ONNX模型转换为INT8量化模型，生成算子调度计划。
- 编写自定义DMA搬运函数，将输入图像从DDR搬运到Activation SRAM，按16×16的tile分块。
- 对每个卷积层，按输出通道分块循环，每次加载32个输出通道的权重到Weight SRAM。
- 配置MAC阵列执行卷积，使用向量ALU执行BatchNorm和LeakyReLU融合操作。
- 在最后一个卷积层后，使用NPU的池化单元执行SPP（空间金字塔池化）操作。
- 将输出特征图通过DMA搬回DDR，由RISC-V核执行后处理（NMS）。
结果对比：优化前（未分块，全部数据从DDR读取）推理延迟为312ms；优化后（权重驻留+输入分块）延迟为68ms，满足100ms要求。功耗从3.1W降至1.8W。代价是增加了约15%的指令数（用于DMA搬运和循环控制），但整体性能提升4.6倍。
3.6 常见误区与总结复盘
在NPU开发中，常见的误区包括：一是将NPU视为“黑盒”，只关注上层算子库而忽略硬件特性，导致性能远低于理论峰值；二是忽视数据布局（NHWC vs NCHW）对MAC阵列利用率的影响，例如某些NPU仅支持NHWC布局，若使用NCHW则需额外的转置开销；三是错误估计DMA带宽，未考虑DDR的刷新开销和多核竞争，导致实际带宽仅为理论值的60%~70%。
总结而言，NPU编程模型的核心在于“数据流驱动计算”。开发者需要从计算单元的组织方式出发，理解存储层次的容量和带宽约束，利用VLIW指令的并行性，并通过合理的分块和DMA调度来隐藏访存延迟。在RISC-V多核系统中，NPU的异步执行模型允许CPU与NPU并行工作，但需要仔细设计任务队列深度和中断处理逻辑，以避免CPU空等或NPU饥饿。