1. AI芯片与NPU概述

大家好，我是你们这趟NPU实战之旅的向导。今天咱们先不急着写代码，而是把地基打牢——聊聊AI芯片，特别是NPU到底是个什么东西。

我记得刚入行那会儿，大家还在争论GPU能不能彻底取代CPU做AI计算。几年过去，答案已经很清楚了：各有各的活，而NPU就是专门为AI推理而生的“特种兵”。

1.1 NPU架构演进：从协处理器到AI原生核

NPU的演进，说白了就是一条“从帮忙干活到独立当家”的路。

• 第一阶段：协处理器时代（2014-2017）
  早期NPU像个“外挂”，挂在CPU或GPU旁边，只负责加速卷积运算。典型代表是华为麒麟970里的NPU，那时候它只能跑固定的网络层。
• 第二阶段：可编程阵列时代（2018-2021）
  架构开始引入SIMD（单指令多数据）和脉动阵列。NPU能灵活处理不同算子，不再是个“死脑筋”。我在项目中遇到过，这个阶段的芯片对ResNet这类规整网络特别友好，但遇到Transformer就开始“头疼”。
• 第三阶段：AI原生架构（2022至今）
  现在的NPU，内部集成了大容量的SRAM、专用的Transformer引擎、甚至支持稀疏计算。说白了，它从“加速器”变成了“AI计算中心”。

1.2 NPU vs GPU vs CPU：它们到底差在哪？

你想想看，CPU是“博士”，什么都会但一次只能处理一两件事；GPU是“数学老师”，擅长并行算矩阵，但调度开销大；NPU呢？它是“流水线工人”，专门为AI推理这条产线优化，效率最高。

维度	CPU	GPU	NPU
核心设计理念	低延迟、复杂控制	高吞吐、并行计算	极致能效、数据流驱动
典型算力（INT8）	~1 TOPS	~100 TOPS	~10-100 TOPS（同功耗下更高）
能效比（TOPS/W）	~0.1	~0.5	~2-10
适用场景	通用计算、逻辑控制	训练、大规模并行渲染	推理、端侧部署、边缘计算
编程难度	低（C/C++）	中（CUDA/OpenCL）	中高（专用工具链）

1.3 主流NPU芯片介绍

目前国内市场上，有三家厂商的产品我接触得最多，也最值得关注。

1.3.1 华为昇腾（Ascend）系列

昇腾是华为的“王牌”。从310（边缘）到910（训练/推理），覆盖很全。它的CANN软件栈虽然学习曲线陡，但一旦上手，性能释放非常彻底。

• 架构特点：达芬奇架构，3D Cube矩阵计算单元，支持混合精度。
• 典型芯片：昇腾310（16 TOPS INT8，8W）、昇腾910（256 TOPS INT8，310W）。
• 我踩过的坑：昇腾的算子兼容性需要特别注意。有一次我把一个PyTorch模型直接转OM格式，结果有个自定义算子不支持，折腾了两天才用TBE算子开发工具补上。

1.3.2 寒武纪（Cambricon）系列

寒武纪是国内最早做AI芯片的公司之一。它的MLU系列在服务器端推理市场有一定份额。

• 架构特点：MLU架构，支持虚拟化，适合云原生场景。
• 典型芯片：MLU370（256 TOPS INT8，250W）、MLU220（16 TOPS INT8，15W）。
• 个人感受：寒武纪的MagicMind工具链对PyTorch模型支持度不错，但量化工具需要手动校准，自动化程度不如昇腾。

1.3.3 地平线（Horizon Robotics）系列

地平线主打“自动驾驶+边缘计算”。它的征程系列在车载和机器人领域口碑很好。

• 架构特点：BPU（Brain Processing Unit）架构，强调“数据驱动”和“动态稀疏”。
• 典型芯片：征程5（128 TOPS INT8，30W）、征程3（5 TOPS INT8，2.5W）。
• 避坑指南：我曾经在征程5上部署YOLOv5，发现它的量化对BN层融合要求很高。如果不做BN融合，精度会掉2-3个点。后来我写了个脚本自动处理，才把问题解决。

1.4 NPU核心架构图解

下面这张图，是我自己总结的NPU内部核心模块。你把它记住了，后面讲模型转换和算子映射时，你就知道为什么有些操作要“绕路”了。

1.5 小结：为什么NPU是推理的“最优解”？

总结一下，NPU不是万能的，但在推理场景下，它确实是最优解。原因有三：

1. 能效比高：同样功耗下，NPU能跑更多帧。
2. 数据流驱动：减少了指令开销，计算更“顺滑”。
3. 专用优化：对INT8/INT4量化、稀疏计算、Winograd等有硬件级支持。