2、NPU推理基础：NPU架构、推理流水线阶段与性能瓶颈分析
在深入讨论buffer复用与上下文切换优化之前，必须首先建立对NPU（神经网络处理单元）推理过程的系统性认知。NPU并非一个简单的“加速计算器”，而是一个包含多级存储、专用计算阵列、数据搬运引擎和调度控制器的异构计算系统。推理任务的性能不仅取决于算力（TOPS），更取决于数据在芯片内部的流动效率。本章将拆解NPU的硬件架构、推理流水线的三个核心阶段（预处理、推理、后处理），并给出定位性能瓶颈的系统性方法。
2.1 NPU硬件架构核心组件
NPU的硬件设计围绕“数据复用”和“计算密集”两个目标展开。与CPU的多级缓存+乱序执行不同，NPU采用异构多核阵列+显式数据流架构。典型NPU包含以下关键模块：
- 计算阵列（Compute Array）：由数百至数千个MAC（乘累加）单元组成，支持INT8/FP16/BF16等精度。矩阵计算以分块（Tile）方式执行，每个时钟周期可完成一次大矩阵乘法。
- 片上存储层次：包括寄存器文件、SRAM（通常为几百KB到几MB）、以及外部DDR/LPDDR。SRAM是数据复用的核心，权重和激活值在SRAM中的驻留时间直接影响计算效率。
- DMA引擎：负责在DDR与SRAM之间搬运数据，支持多通道并行。DMA的调度效率决定了数据供给能否跟上计算速度。
- 调度控制器：管理任务队列、同步屏障、上下文切换。当多个推理任务并发时，调度器需要保存/恢复计算阵列的寄存器状态、SRAM分区和DMA描述符。
有效算力 = 峰值算力 × 计算单元利用率 × 数据供给充足率。其中，数据供给充足率取决于DMA带宽、SRAM容量和buffer复用策略。若DMA无法及时将下一块数据送入SRAM，计算阵列将处于“饥饿”状态，即使峰值TOPS很高，实际吞吐也会大幅下降。
2.2 推理流水线三阶段详解
一个完整的NPU推理任务可拆分为三个阶段，每个阶段对硬件资源的需求不同，且存在相互依赖关系。
阶段一：预处理（Pre-processing）
预处理通常在CPU或专用的图像处理单元（ISP）上执行。主要操作包括：图像解码（JPEG/RAW→RGB）、尺寸缩放、格式转换（NHWC→NCHW）、归一化（除以255或使用均值方差）、以及数据从CPU内存到NPU-DDR的拷贝。此阶段的特点是IO密集，CPU占用率高，且数据拷贝延迟往往成为流水线启动的“冷启动”开销。
阶段二：NPU推理（Inference）
推理阶段完全在NPU内部执行。数据从DDR经DMA搬运至SRAM，计算阵列完成卷积、全连接、激活函数等操作，中间结果暂存于SRAM或写回DDR。此阶段的特点是计算密集，但受限于SRAM容量，大模型或大分辨率输入需要频繁进行数据换入换出（Spilling），导致性能下降。
阶段三：后处理（Post-processing）
后处理在CPU上执行，包括输出特征图的解析（argmax、阈值过滤）、目标检测的NMS（非极大值抑制）、以及业务逻辑（如跟踪、计数）。后处理阶段虽然计算量小，但串行依赖强，且需要等待NPU完全输出结果后才能开始，容易成为流水线尾部延迟的来源。
| 阶段 | 执行单元 | 主要操作 | 资源瓶颈 | 优化切入点 |
|---|---|---|---|---|
| 预处理 | CPU/ISP | 解码、缩放、格式转换、拷贝 | CPU占用、内存带宽 | 硬件加速、异步拷贝、零拷贝 |
| 推理 | NPU计算阵列 | 卷积、矩阵乘、激活 | SRAM容量、DMA带宽 | Buffer复用、算子融合、量化 |
| 后处理 | CPU | NMS、解析、业务逻辑 | CPU串行延迟 | 并行化、NPU辅助计算 |
2.3 性能瓶颈分析方法论
定位瓶颈不能仅凭直觉，需要结合硬件计数器和时间戳分析。以下是标准化的判断流程：
- 采集Profiling数据：使用NPU厂商提供的Profiler（如RKNN Toolkit、NVIDIA Nsight、昇腾MindStudio），记录每个阶段的耗时、DMA传输量、计算单元利用率。
- 计算阶段占比：如果预处理耗时占总延迟的30%以上，说明CPU侧或拷贝路径存在瓶颈；如果推理阶段利用率低于70%，则可能是数据供给不足或算子调度问题。
- 检查DMA与计算重叠：理想情况下，DMA搬运下一块数据的同时，计算阵列应正在处理当前数据块。若时间轴上出现明显的“搬运-计算”串行，则说明流水线未充分重叠。
- 分析上下文切换开销：当多路视频流并发推理时，频繁的上下文切换会导致SRAM内容反复保存/加载，切换开销可能占总耗时的10%-20%。
2.4 案例拆解：视频流检测流水线瓶颈定位
某安防场景使用NPU运行YOLOv5s模型，输入为1080p@30fps视频流，目标检测延迟要求小于50ms。实测平均延迟为62ms，且偶发丢帧。
初始数据：
- 预处理平均耗时：18ms（CPU解码+缩放+拷贝）
- NPU推理耗时：25ms（计算利用率仅55%）
- 后处理耗时：12ms（NMS+目标框绘制）
- 上下文切换开销：7ms（每帧切换2次）
分析过程：通过Profiler发现，NPU计算利用率低的原因是DMA搬运与计算未重叠——每层卷积完成后，计算阵列需等待下一块权重从DDR加载。同时，预处理阶段的拷贝操作占用了CPU大量时间，导致后处理线程被调度延迟。
优化操作：
- 将预处理中的图像缩放和格式转换移至GPU或NPU的硬件算子中，CPU仅负责解码，耗时从18ms降至9ms。
- 对NPU推理启用多级流水线：将模型按层拆分为两个子图，子图A计算时，DMA预取子图B的权重，实现搬运与计算重叠。
- 后处理NMS改用NPU上的自定义算子实现，减少CPU串行时间。
结果对比：优化后平均延迟降至38ms，P99延迟从85ms降至52ms，丢帧率从2.3%降至0.1%。代价是NPU的SRAM占用增加约30%，但仍在芯片规格内。
2.5 常见误区与总结复盘
- 误区一：只关注峰值TOPS。实际吞吐受限于数据供给和存储带宽，高TOPS低带宽的芯片在小型模型中表现不佳。
- 误区二：忽略预处理拷贝。零拷贝技术（如ION内存、dma-buf）可避免CPU与NPU间的重复拷贝，但需要驱动和框架支持。
- 误区三：将上下文切换视为“免费”。每次切换涉及SRAM分区保存、寄存器状态恢复，频繁切换会显著降低有效算力。
- 误区四：后处理延迟被低估。在目标检测中，NMS的复杂度随检测框数量平方增长，当画面中目标较多时，后处理可能成为瓶颈。