NPU硬件基础：架构、计算单元、存储层次与主流产品对比
NPU（Neural Processing Unit，神经网络处理单元）是专为加速人工智能推理与训练任务设计的处理器。与CPU的通用控制逻辑和GPU的图形渲染管线不同，NPU在硬件层面直接映射神经网络算子，通过大规模并行计算单元、近存计算架构和专用数据通路，实现卷积、矩阵乘、激活函数等运算的高吞吐执行。理解NPU硬件基础，是后续编写驱动、配置运行时环境、进行算子适配与性能调优的前提。本章将从架构设计、计算单元、存储层次、互联总线四个维度展开，并对昇腾、寒武纪、英伟达三类典型产品进行对比分析。
NPU架构设计核心原理
NPU架构设计的核心思想是“数据流驱动计算”，即通过硬件数据通路将数据从存储单元直接搬运到计算单元，减少指令解析开销。典型NPU采用异构多核架构，每个AI Core包含矩阵计算单元、向量计算单元和标量控制单元。矩阵计算单元负责卷积和全连接层中的乘加运算，通常采用脉动阵列（Systolic Array）或SIMD（单指令多数据）结构；向量计算单元处理激活函数、BatchNorm、池化等逐元素操作；标量单元则负责地址生成、循环控制和分支跳转。这种分工使得NPU在运行深度学习模型时，能够将计算密集型任务与访存密集型任务重叠执行，提升硬件利用率。
计算单元深度解析
矩阵计算单元是NPU的算力核心。以昇腾310为例，其AI Core集成了Cube单元，支持FP16、INT8等精度下的矩阵乘加运算。Cube单元采用16×16的脉动阵列，每个时钟周期可完成256次乘加操作。寒武纪MLU370的矩阵单元则采用SIMD架构，支持TF32和BF16格式。英伟达A100的Tensor Core则采用更灵活的WMMA（Warp Matrix Multiply-Accumulate）指令，允许软件定义矩阵分块大小。向量计算单元通常包含多个ALU（算术逻辑单元），支持向量化加载和存储，用于处理非矩阵类算子。标量单元则运行精简指令集，负责循环控制、指针运算和中断处理。
| 计算单元类型 | 典型操作 | 硬件实现 | 驱动关注点 |
|---|---|---|---|
| 矩阵单元 | 卷积、GEMM | 脉动阵列 / Tensor Core | 分块策略、数据对齐 |
| 向量单元 | 激活、归一化 | SIMD ALU | 向量长度、内存对齐 |
| 标量单元 | 控制流、地址计算 | RISC核心 | 指令调度、中断处理 |
存储层次与数据搬运
NPU的存储层次设计直接影响访存带宽和功耗。片上存储通常分为三级：寄存器文件（Register File）、局部SRAM（如昇腾的Unified Buffer）和共享L2缓存。寄存器文件容量最小但速度最快，用于存放中间计算结果；局部SRAM为每个AI Core私有，容量在几百KB到几MB之间，用于缓存输入特征图和权重；L2缓存由多个AI Core共享，容量可达几十MB。片外存储则通过DDR或HBM接口扩展，容量可达几十GB。驱动开发中，数据搬运策略至关重要：需要将数据从DDR加载到L2，再分发到各AI Core的SRAM，计算完成后将结果写回DDR。这一过程通常由DMA（直接内存访问）引擎完成，驱动需要配置DMA描述符、中断和同步信号。
aclrtMalloc分配设备内存时，建议按512字节对齐，并优先使用HBM的大页内存，以减少TLB miss。对于寒武纪平台，使用cnMalloc时需注意分配的内存是否支持零拷贝访问，否则需要显式调用cnMemcpy进行数据同步。
互联总线与多卡扩展
NPU的互联总线分为片内和片外两个层面。片内互联通常采用NoC（片上网络）或AXI总线，连接各AI Core、存储控制器和DMA引擎。片外互联则包括PCIe、CCIX、NVLink、HCCS等。PCIe是NPU与Host CPU通信的标准接口，带宽受限于PCIe版本和通道数；NVLink和HCCS是英伟达和昇腾的私有高速互联协议，支持多卡直接内存访问，带宽可达数百GB/s。在驱动开发中，多卡通信需要处理地址映射、同步屏障和错误恢复。例如，在昇腾平台上，使用HCCS互联时，驱动需要调用aclrtSetDevice指定设备，并通过aclrtSynchronizeStream确保跨卡任务同步。
典型NPU产品对比
昇腾、寒武纪和英伟达的NPU产品在架构理念上存在显著差异。昇腾采用达芬奇架构，强调“统一架构、全场景”，其AI Core集成了Cube、Vector和Scalar三类单元，支持从端侧到云侧的灵活部署。寒武纪的MLU系列采用“推理与训练同构”设计，其MLU370在INT8推理场景下能效比突出，且对Pytorch框架支持友好。英伟达的GPU（如A100、H100）虽然本质上是GPU，但其Tensor Core和CUDA生态已成为AI加速的事实标准，其优势在于软件生态成熟度和通用性。
| 对比维度 | 昇腾 910B | 寒武纪 MLU370 | 英伟达 A100 |
|---|---|---|---|
| 计算单元 | Cube + Vector + Scalar | 矩阵 + 向量 | Tensor Core + CUDA Core |
| 峰值算力(FP16) | 376 TOPS | 256 TOPS | 312 TFLOPS |
| 片上存储 | L2 192MB | L2 32MB | L2 40MB |
| 互联总线 | HCCS 392GB/s | PCIe 5.0 x16 | NVLink 600GB/s |
| 驱动接口 | CANN / ACL | CNToolkit / CNRT | CUDA / cuDNN |
案例拆解：基于昇腾310的推理引擎驱动调优
某安防厂商在昇腾310设备上部署YOLOv5s模型，初始推理延迟为12ms，目标是将延迟压降至8ms以内。通过NPU Profiling工具分析发现，AI Core利用率仅为45%，DMA通道空闲率高达60%。进一步定位发现，模型中的Concat算子导致数据在L2与DDR之间反复搬运，且未使用昇腾的“融合算子”能力。优化方案分为三步：首先，在CANN的ATC模型转换工具中开启--fusion_mode=RT，将Concat与后续卷积融合，减少一次DDR读写；其次，在驱动层调整DMA描述符的优先级，将权重预加载提前到前一个算子执行期间；最后，使用aclrtSetStreamAttr设置流并发属性，使两个AI Core分别处理不同尺度的特征图。优化后，AI Core利用率提升至78%，推理延迟降至7.2ms，满足业务要求。复盘发现，关键收益来自算子融合和DMA预取，而单纯提高AI Core频率并无效果。
aclrtSynchronizeStream强制同步，但过度同步会引入额外开销，需在性能与安全之间权衡。
常见误区与总结复盘
- 误区一：认为TOPS越高性能越好。实际中，算力受限于内存带宽和算子调度效率，需结合Profiling数据综合评估。
- 误区二：忽略数据对齐要求。NPU的DMA通常要求128字节对齐，未对齐时会导致拷贝失败或性能骤降。
- 误区三：在多卡场景下直接使用Host内存指针。必须通过驱动API分配设备内存并显式管理生命周期。
- 误区四：将NPU视为黑盒，不关注算子映射细节。驱动开发者应理解底层硬件行为，才能有效排查性能瓶颈。