一、卷积加速器设计概览：从架构分类到设计指标

大家好，我是你们这门课的主讲。今天咱们聊聊卷积加速器的整体设计思路。说实话，这个领域我摸爬滚打了十几年，踩过的坑比走过的路还多。但正是这些经验，让我对加速器设计有了更深的体会。

卷积加速器，说白了就是专门为卷积运算量身定做的硬件。你想想看，通用处理器跑卷积，就像用菜刀切西瓜——能切，但效率低。而专用加速器，就是一把西瓜刀，专为这个任务而生。

1.1 加速器架构的三大流派

我个人习惯把卷积加速器架构分成三类：脉动阵列、空间架构、时间架构。这三类各有千秋，咱们一个一个说。

1.1.1 脉动阵列（Systolic Array）

脉动阵列，这个名字听起来挺玄乎，其实原理很简单。数据像血液一样在阵列中“脉动”流动，每个处理单元（PE）只做一件事：乘加运算。我在Google的TPU项目中见过这种设计，当时就觉得——嗯，这玩意儿真巧妙。

脉动阵列的核心优势是数据复用率高。你想想看，输入特征图的数据在阵列中流动，每个PE都能用到，不用反复从内存搬数据。这在能效上占了很大便宜。

1.1.2 空间架构（Spatial Architecture）

空间架构，说白了就是把计算单元铺开，每个单元处理不同的数据。这种架构灵活性高，适合各种形状的卷积核。我在做边缘端加速器时，就特别喜欢用这种架构。

空间架构的优点是：

• 灵活性高： 可以处理不同大小的卷积核
• 并行度高： 多个PE同时计算
• 扩展性好： 增加PE数量就能提升性能

但缺点也很明显——数据搬运开销大。每个PE都需要独立的数据，内存带宽容易成为瓶颈。

1.1.3 时间架构（Temporal Architecture）

时间架构，就是复用少量计算单元，分时处理所有数据。这种架构面积小、功耗低，适合资源受限的场景。我记得在IoT设备上，时间架构几乎是唯一的选择。

时间架构的核心是：

• 资源复用： 少量PE完成所有计算
• 面积小： 适合芯片面积受限的场景
• 功耗低： 计算单元少，动态功耗小

但代价是延迟大。你想想看，一个PE要处理所有数据，速度肯定快不起来。

1.2 设计指标：吞吐量、延迟、能效

设计加速器，不能光看架构，还得看指标。我个人习惯用三个指标来衡量：吞吐量、延迟、能效。这三个指标，说白了就是“快不快”、“等不等得起”、“省不省电”。

1.2.1 吞吐量（Throughput）

吞吐量，就是单位时间内能处理多少数据。通常用GOPS（每秒十亿次操作）或TOPS（每秒万亿次操作）来衡量。我见过一些加速器，标称几百TOPS，但实际跑起来只有标称的一半。为什么？因为数据流没设计好，PE利用率低。

影响吞吐量的因素：

• PE数量： 越多，吞吐量越高
• PE利用率： 利用率越高，实际吞吐量越接近理论值
• 内存带宽： 带宽不足，PE就会空转

实际吞吐量 = PE数量 × 频率 × 利用率

1.2.2 延迟（Latency）

延迟，就是从输入到输出需要的时间。实时应用对延迟要求很高，比如自动驾驶，延迟超过100ms就可能出事故。我做过一个ADAS项目，延迟要求是50ms以内，当时为了优化延迟，头发都快掉光了。

降低延迟的方法：

• 流水线设计： 把计算分成多个阶段，并行处理
• 数据预取： 提前把数据搬到片上
• 减少数据依赖： 避免等待

1.2.3 能效（Energy Efficiency）

能效，就是每瓦功耗能处理多少数据。单位通常是GOPS/W或TOPS/W。能效是移动设备和数据中心最关心的指标。你想想看，手机电池就那么大，能效不高，用一会儿就没电了。

提高能效的方法：

• 数据复用： 减少内存访问，内存访问的功耗远高于计算
• 低精度计算： 用INT8代替FP32，功耗降低4倍
• 时钟门控： 不用的模块关掉时钟

1.3 架构对比与选择

三种架构各有优劣，选择哪种取决于应用场景。我整理了一个表格，方便大家对比：

我个人建议：

• 数据中心： 选脉动阵列，吞吐量和能效都高
• 边缘设备： 选空间架构，灵活性好
• IoT设备： 选时间架构，面积小、功耗低

1.4 知识体系总览

为了让大家更直观地理解本章内容，我画了一张SVG图，展示卷积加速器设计的核心知识体系：

这张图把本章的核心内容串起来了。从架构分类到设计指标，再到架构对比，环环相扣。你想想看，理解了这些，你就掌握了卷积加速器设计的全局观。

好了，第一章的内容就到这里。记住，加速器设计没有银弹，只有根据场景选择合适的架构和指标。下一章，咱们深入聊聊脉动阵列的具体实现。