2、NPU硬件基础：寒武纪NPU架构、计算单元、存储层次、总线接口、硬件抽象层

寒武纪NPU（Neural Processing Unit）是面向人工智能计算场景设计的专用处理器，其硬件架构与传统的CPU、GPU有本质区别。NPU的设计目标是在有限的功耗和面积约束下，最大化神经网络推理和训练的计算吞吐量。理解NPU的硬件基础是驱动开发的前提——驱动工程师不仅要会操作寄存器，更要理解数据在芯片内部如何流动、计算单元如何协同、存储层次如何影响性能。本章从架构总览、计算单元、存储层次、总线接口和硬件抽象层五个维度展开，帮助读者建立完整的硬件认知框架。

2.1 寒武纪NPU整体架构与设计哲学

核心原理：寒武纪NPU采用"多核异构"架构，每个MLU Core内部集成了矩阵计算单元（Matrix Unit）、向量计算单元（Vector Unit）和标量计算单元（Scalar Unit）。矩阵单元专门处理卷积和全连接运算，向量单元负责激活函数、池化等逐元素操作，标量单元处理控制流和地址计算。这种异构设计使得NPU在执行神经网络时，各单元可以流水线并行工作。

从驱动开发视角看，NPU并非简单的"寄存器集合"，而是一个需要精细调度的计算引擎。驱动需要管理任务队列、同步多个Core的执行状态、处理中断和异常。寒武纪的CNK（Cambricon Neuware Kernel）运行时库封装了底层硬件细节，驱动开发者需要理解CNK与硬件之间的映射关系。

架构层次	组成模块	驱动关注点
应用层	CNRT / CNML 运行时	API调用、内存管理
驱动层	Kernel Driver (cndev)	设备初始化、中断处理、DMA管理
固件层	MARS 微控制器固件	任务调度、功耗管理
硬件层	MLU Core + 存储 + 总线	寄存器操作、内存屏障

2.2 计算单元详解：矩阵、向量与标量

核心原理：每个MLU Core包含三类执行单元，它们协同完成神经网络算子。矩阵单元采用脉动阵列（Systolic Array）结构，支持FP16/BF16/INT8等混合精度计算。向量单元包含512个ALU，支持ReLU、Sigmoid等激活函数。标量单元负责循环控制、地址生成和分支跳转。

操作流程：驱动下发任务时，需要按照以下步骤配置计算单元：

1. 通过MMIO写入任务描述符地址到TASK_QUEUE_HEAD寄存器
2. 设置计算精度模式（FP16/INT8）到PRECISION_CTRL寄存器
3. 配置矩阵单元的输入输出地址偏移
4. 触发START_EXECUTE命令，等待完成中断

// 驱动代码示例：配置矩阵单元执行卷积
void mlu_config_matrix(struct mlu_device *dev, struct conv_params *params) {
    writel(params->input_addr, dev->reg_base + MATRIX_IN_ADDR);
    writel(params->weight_addr, dev->reg_base + MATRIX_WT_ADDR);
    writel(params->output_addr, dev->reg_base + MATRIX_OUT_ADDR);
    writel(params->precision, dev->reg_base + PRECISION_CTRL);
    writel(0x1, dev->reg_base + START_EXECUTE);
}

2.3 存储层次与数据搬运策略

核心原理：寒武纪NPU采用三级存储架构：HBM/GDDR大容量主存、L2 Cache共享缓存、Local SRAM私有存储。驱动开发的关键在于管理DMA引擎，将数据从主存搬运到SRAM，计算完成后再搬回。存储带宽是性能瓶颈，驱动需要合理规划数据布局。

存储层级	容量	带宽	访问延迟	驱动管理方式
HBM2e	16-64GB	1.2TB/s	~200ns	通过DMA描述符访问
L2 Cache	8-32MB	2TB/s	~50ns	硬件自动管理
Local SRAM	1-4MB/Core	5TB/s	~5ns	驱动显式分配

案例拆解：以ResNet-50推理为例，输入图像为224x224x3，约150KB。驱动需要：

1. 在HBM中分配输入输出缓冲区（使用cndevMalloc）
2. 创建DMA描述符，指定源地址、目的地址、传输长度
3. 将描述符写入DMA_RING_BUF，更新写指针
4. 等待DMA完成中断，确认数据到达SRAM

2.4 总线接口与Host通信

核心原理：寒武纪NPU通过PCIe Gen4接口与Host CPU通信，支持DMA、MSI-X中断和BAR空间映射。驱动需要配置PCIe BAR寄存器，将设备寄存器映射到Host地址空间。此外，NPU还提供CCIX接口用于多卡互联，以及I2C/SPI用于板级管理。

判断方法：在Linux系统中，使用lspci -v查看NPU设备信息：

# lspci -v -s 01:00.0
01:00.0 Processing accelerators: Cambricon MLU370
    Region 0: Memory at f8000000 (64-bit, prefetchable) [size=256M]
    Region 2: Memory at f0000000 (64-bit, prefetchable) [size=128M]
    Capabilities: [c0] MSI-X: Enable+ Count=64 Masked-
    Kernel driver in use: cndev

实战场景：当驱动加载时，需要执行以下初始化流程：

1. pci_enable_device() 启用PCIe设备
2. pci_request_mem_regions() 申请BAR资源
3. ioremap() 映射寄存器空间
4. request_irq() 注册MSI-X中断处理函数
5. 初始化DMA描述符环形缓冲区

2.5 硬件抽象层（HAL）设计

核心原理：硬件抽象层是驱动与硬件之间的中间层，提供统一的寄存器访问接口、中断管理接口和DMA操作接口。寒武纪的HAL设计遵循"分层隔离"原则：上层驱动不直接操作寄存器，而是通过HAL函数调用。

操作流程：HAL层主要提供以下功能：

• 寄存器访问：封装readl/writel，增加调试计数和访问日志
• 中断管理：统一处理MSI-X中断，分发到不同处理函数
• DMA管理：提供描述符分配、提交、回收的API
• 内存屏障：确保DMA操作与CPU访问的顺序一致性

// HAL层接口示例
struct mlu_hal_ops {
    u32 (*reg_read)(struct mlu_device *dev, u32 offset);
    void (*reg_write)(struct mlu_device *dev, u32 offset, u32 val);
    int (*dma_submit)(struct mlu_device *dev, struct mlu_dma_desc *desc);
    void (*sync_wait)(struct mlu_device *dev, u32 sync_id);
};

2.6 驱动开发常见误区与总结

核心原理：NPU驱动开发与普通设备驱动有显著差异，主要体现在：计算任务调度、存储一致性管理、多核同步机制。开发者需要建立"硬件加速器"思维，而非"外设"思维。

常见误区	正确做法	原因分析
忽略内存屏障	在DMA前后使用dma_wmb()/dma_rmb()	NPU与CPU缓存不一致
中断处理耗时过长	使用tasklet或workqueue延迟处理	中断上下文不能睡眠
寄存器访问不加锁	使用spinlock保护关键寄存器	多CPU并发访问导致竞态
DMA缓冲区未对齐	使用dma_alloc_coherent分配	硬件要求64字节对齐

总结复盘：本章从硬件架构出发，详细剖析了寒武纪NPU的计算单元、存储层次、总线接口和HAL设计。驱动开发的核心挑战在于：理解硬件并行特性、管理数据一致性、优化数据搬运路径。建议开发者在编写驱动前，先阅读芯片手册中的"任务调度"和"存储管理"章节，建立完整的硬件心智模型。在实际开发中，利用HAL层提供的调试接口，可以大幅提升问题定位效率。