一、AI芯片与算子映射概述

大家好，欢迎来到这门课。我是你们的老朋友，一个在芯片和编译器领域摸爬滚打了十几年的工程师。

今天咱们聊聊AI芯片和算子映射。说实话，这个话题我每次跟新人聊，都觉得特别有意思。它就像一座桥，一头连着算法工程师写的神经网络，另一头连着芯片里密密麻麻的晶体管。没有这座桥，再牛的算法也跑不起来。

1.1 AI芯片发展简史：从通用到专用

AI芯片的发展，说白了就是一场「从通用到专用」的进化史。我刚开始做这行的时候，大家还在用CPU跑神经网络。那时候训练一个AlexNet要跑好几天，功耗还高得吓人。

为什么会这样？因为CPU是为「通用计算」设计的。它擅长处理各种乱七八糟的任务，但并行能力有限。而神经网络呢？全是矩阵乘法和卷积，天生适合并行计算。

于是，GPU登场了。NVIDIA的CUDA生态让GPU成了AI训练的主力。我记得2012年AlexNet用GPU训练，速度比CPU快了十几倍。那会儿我就意识到：专用硬件才是AI的未来。

再后来，Google搞出了TPU。这玩意儿更狠，直接为矩阵乘法定制了脉动阵列。我有个朋友在Google干过，他说TPU第一代流片回来，跑BERT的速度让所有人都惊呆了。

现在呢？NPU、DPU、IPU……各种专用芯片百花齐放。但不管怎么变，核心问题只有一个：怎么把神经网络里的算子，高效地映射到芯片上。

1.2 算子映射的核心问题：三个灵魂拷问

算子映射，听起来高大上，其实就三个问题。我当年带团队做第一个AI芯片项目时，被这三个问题折磨得够呛。

问题一：算子怎么拆？

一个卷积层，在算法眼里就是几个循环。但在芯片眼里，你得把它拆成：数据加载、矩阵乘法、累加、激活函数、池化……每个子操作怎么调度？数据怎么流动？

我曾经遇到过一个坑：把一个大卷积直接映射到脉动阵列上，结果因为数据复用没做好，带宽被撑爆了。后来改成「分块映射」，把大矩阵切成小块，一块一块喂给芯片，问题就解决了。

问题二：数据怎么搬？

芯片上的计算单元跑得飞快，但数据从内存搬过来需要时间。这就是著名的「内存墙」问题。

你想想看：一个乘法器做一次运算只要1纳秒，但从DDR里读数据要100纳秒。如果数据没准备好，计算单元就得干等着。这就像你做饭，菜都切好了，但锅还没热——效率全浪费在等待上。

我个人的习惯是：在设计算子映射方案时，先画数据流图，再画计算流图。数据流不通，计算再快也没用。

问题三：并行怎么搞？

现代AI芯片动辄几百个计算单元。怎么让它们同时干活？是数据并行（每个单元算不同的数据），还是模型并行（每个单元算模型的不同部分）？

嗯，这里要注意：并行不是越多越好。我见过一个项目，为了追求并行度，把一个小算子拆成了128份。结果通信开销比计算开销还大，性能反而下降了。

1.3 课程目标与学习路径

这门课的目标很明确：让你能独立完成一个算子在AI芯片上的映射。不是纸上谈兵，而是真刀真枪地干。

具体来说，学完这门课，你应该能：

• 看懂芯片的指令集和硬件架构文档
• 把常见的算子（卷积、矩阵乘、归一化等）拆解成硬件可执行的子操作
• 设计数据流和计算流，避免「内存墙」
• 利用并行度，把算子的性能压榨到极致

学习路径我建议这样走：

1. 先打基础：搞懂芯片的基本架构（计算单元、存储层次、互联网络）。这部分我会用最通俗的语言讲清楚。
2. 再学方法：掌握算子映射的通用方法论。比如分块策略、数据复用、流水线设计。这些是通用的，换什么芯片都能用。
3. 最后实战：拿几个经典算子（卷积、矩阵乘、Transformer里的Attention）完整走一遍映射流程。我会带着你一步步做。

1.4 本章知识体系总览

下面这张图，是我花了不少心思画的。它把本章的核心知识点串在了一起。你仔细看看，就能对「算子映射」有个整体印象。

这张图你看懂了吗？从左到右，是「芯片架构 → 算子 → 映射方法」的递进关系。下面三个核心问题，是贯穿整个课程的主线。最下面的学习路径，就是我们接下来要走的路线。

好了，第一章就到这里。我个人觉得，这一章最重要的不是记住那些历史，而是建立起「算子映射」的整体思维框架。后面每一章，都会在这个框架上添砖加瓦。

想要更多资料，联系可可