1. 课程导入
过去十年，人工智能从实验室走向大规模产业落地，模型参数量从百万级跃升到千亿级，训练与推理的算力需求呈指数增长。传统通用CPU虽然灵活，但在矩阵乘加、卷积、注意力等高度并行的计算模式上效率有限。于是，面向AI负载定制的加速器——TPU、NPU、DPU——成为数据中心、边缘设备和智能终端的关键算力底座。本章作为课程导入，先厘清三类加速器的定义边界，再说明它们出现的产业与技术背景，最后给出整门课程的学习目标与知识框架。
一、核心定义：TPU、NPU、DPU分别是什么
三者都叫“加速器”，但设计目标和部署位置差异明显。理解它们的定位，是后续学习架构细节的前提。
- TPU（Tensor Processing Unit，张量处理单元）：由Google于2016年公开，专为神经网络中的张量运算设计，核心是脉动阵列（Systolic Array）与高带宽片上缓存，典型场景是大规模训练和云端推理。
- NPU（Neural Processing Unit，神经网络处理单元）：泛指面向神经网络推理/训练的专用处理器，常见于手机SoC、边缘盒子、车载域控制器。它强调低功耗、低延迟和定点/混合精度计算，架构上常采用MAC阵列加专用调度器。
- DPU（Data Processing Unit，数据处理单元）：以网络、存储、安全等基础设施任务卸载为核心，常被称为“第三颗主力芯片”。它让CPU从数据搬运和协议处理中解放出来，在云数据中心中承担虚拟交换、加密、压缩、RDMA等任务。
一句话区分：TPU/NPU主要“算AI”，DPU主要“搬数据、做基础设施卸载”。前者优化计算密度，后者优化数据通路与系统效率。
二、发展背景：为什么需要专用加速器
AI加速器的兴起并非偶然，而是三重压力共同作用的结果。
- 算力需求爆炸：以Transformer为代表的大模型，训练算力每几个月翻倍，远超摩尔定律。通用CPU的通用性反而成为效率负担。
- 能效墙与功耗墙：数据中心功耗受限，边缘设备电池受限。专用架构通过减少指令开销、提高数据复用，把每瓦性能提升数倍到数十倍。
- 基础设施卸载需求：云环境中网络带宽从10G迈向400G甚至800G，CPU大量时间花在协议栈和内存拷贝上，DPU因此成为“算力之外的第二战场”。
学习提示：不要只记芯片名字，要抓住“负载特征决定架构”这条主线。矩阵运算密集→TPU/NPU；数据搬运密集→DPU。
三、方法流程：从模型到加速器的映射路径
理解加速器，关键是理解一个AI模型如何被映射到硬件上执行。典型流程如下：
模型定义（PyTorch/TensorFlow）
↓ 图优化：算子融合、常量折叠、布局转换
计算图（Graph）
↓ 算子拆分与调度：哪些算子给TPU/NPU，哪些留给CPU
硬件指令序列（ISA / 微码）
↓ 数据搬运：DMA、双缓冲、片上缓存分配
执行单元：脉动阵列 / MAC阵列 / 向量单元
↓ 结果写回与同步
输出张量 → 后处理 → 业务结果这条路径中，编译器与运行时承担了大部分复杂度。TPU依赖XLA等编译器做算子融合与内存规划；NPU通常配套专用工具链完成量化、图切分和算子映射；DPU则更多通过可编程数据平面（如P4、DOCA）实现协议卸载。
四、案例与场景：三类加速器的典型落地
| 加速器 | 典型场景 | 关键指标 | 部署位置 |
|---|---|---|---|
| TPU | 大模型训练、云端批量推理 | TFLOPS、HBM带宽、互连拓扑 | 数据中心服务器 |
| NPU | 手机拍照增强、语音识别、自动驾驶感知 | TOPS/W、延迟、定点精度 | SoC内部、边缘盒子 |
| DPU | 虚拟交换、RDMA、存储加速、安全隔离 | 吞吐、连接数、卸载率 | 云数据中心网卡位 |
例如，在推荐系统推理场景中，DPU先卸载网络与KV存储访问，CPU只做轻量调度，NPU或TPU完成Embedding与MLP计算，整体端到端延迟可显著下降。这种“DPU+NPU/TPU+CPU”的组合，正在成为现代AI基础设施的常见形态。
五、常见误区与复盘
误区一：认为NPU一定比GPU快。实际上，NPU优势在能效和确定性延迟，峰值算力未必超过高端GPU。
误区二：把DPU当成“更快的网卡”。DPU的核心价值是可编程卸载与安全隔离，而不仅是带宽。
误区三：忽视软件栈。没有编译器、驱动和框架支持，再好的硬件也难以发挥性能。
复盘来看，学习AI加速器架构，必须同时关注三条线：计算架构（阵列、缓存、精度）、数据通路（DMA、互连、内存层次）、软件栈（编译器、运行时、算子库）。三者缺一不可。
六、学习目标与整体课程框架
本课程共30章，目标是让学习者能够：
- 准确区分TPU、NPU、DPU的定位、架构特征与适用边界；
- 理解张量计算、脉动阵列、MAC阵列、量化与数据复用等核心原理；
- 掌握加速器的编程模型、编译器流程与性能分析方法；
- 能够针对训练、推理、边缘、数据中心等场景做选型与架构评估。