一、卷积加速器概述

大家好，我是你们的FPGA讲师。今天咱们聊聊卷积加速器。

说实话，我第一次接触卷积神经网络时，也被那一堆数学公式搞得头大。但后来我发现，搞懂它其实没那么难。你想想看，卷积说白了就是一种「滑动窗口」的运算——拿一个小矩阵，在大矩阵上滑来滑去，每滑到一个位置就做一次点乘求和。

嗯，就这么简单。

卷积神经网络（CNN）是深度学习里最常用的模型之一。它特别擅长处理图像数据。为什么？因为它的设计思路就是模仿人眼的视觉皮层——先看局部特征，再组合成全局理解。

一个典型的CNN包含这几层：

我在项目中遇到过一个问题：很多人以为CNN的层数越多越好。其实不是。层数多了，计算量爆炸式增长，硬件根本扛不住。所以做加速器设计时，我们得考虑实际部署的约束。

咱们来看卷积的数学定义。假设输入是一个二维图像 \( I \)，卷积核是 \( K \)，那么输出特征图 \( O \) 的每个元素可以写成：

O[i][j] = Σ_m Σ_n I[i+m][j+n] × K[m][n]

说白了，就是卷积核在输入图上滑动，每次覆盖的区域和卷积核做点乘，然后求和。

举个例子。假设输入是5×5的图，卷积核是3×3，步长为1，没有填充。那么输出就是3×3。为什么？因为 (5-3)/1 + 1 = 3。

我刚开始做加速器时，经常搞混步长和填充的关系。后来我总结了一个口诀：输出尺寸 = (输入尺寸 - 卷积核尺寸 + 2×填充) / 步长 + 1。你把这个公式记住，基本不会出错。

重要提示：卷积运算的本质是乘累加（MAC）。一个卷积层需要的MAC次数 = 输出特征图尺寸 × 卷积核尺寸 × 输入通道数 × 输出通道数。这个数字往往大得惊人——一个普通的VGG16网络，单次推理就需要约150亿次MAC操作。

为什么要做硬件加速？原因很简单：CPU跑不动。

你想想看，一个典型的卷积层，比如输入是224×224×3，卷积核是3×3×64，输出是224×224×64。这个层需要多少次MAC？

224 × 224 × 64 × 3 × 3 × 64 ≈ 18.5亿次MAC。

CPU做一次MAC需要好几个时钟周期。就算主频3GHz，每秒也只能做几十亿次MAC。而且CPU还要处理其他任务，根本忙不过来。

这时候FPGA的优势就体现出来了。FPGA可以：

我记得有一次，客户要求在一个嵌入式设备上跑实时目标检测。CPU方案延迟太高，GPU方案功耗太大。最后我们用FPGA做了一个卷积加速器，延迟降到5ms以内，功耗只有3W。客户当场就拍板了。

个人经验：FPGA加速器不是万能的。如果你的卷积层特别不规则（比如空洞卷积、可变形卷积），FPGA实现起来会很痛苦。这时候可以考虑用GPU或者ASIC。选型要因地制宜。

做加速器设计，你得知道怎么衡量它好不好。常用的指标有：

这里我要特别强调一下MAC效率。很多初学者只看吞吐量，忽略了MAC效率。我曾经见过一个设计，吞吐量看起来很高，但MAC效率只有30%。说白了，大部分DSP都在空转，浪费资源。

为什么会这样？因为数据搬运跟不上计算速度。你想想看，DSP算得再快，如果数据没送到，它也只能干等着。所以做加速器设计时，计算和存储要平衡。

避坑指南：我曾经在一个项目里，把DSP用到了95%，结果BRAM不够用了。数据只能存在LUT里，导致布线困难，时序跑不到目标频率。后来我学乖了——设计初期就要做好资源预算，DSP、LUT、BRAM的比例要协调。

下面这张图展示了本章的知识结构。你可以看到，卷积加速器设计涉及三个层面：算法理解、硬件架构、性能评估。这三者缺一不可。

从这张图你可以看到，三个模块是相互关联的。算法理解决定了你要做什么，硬件架构决定了你怎么做，性能评估则告诉你做得怎么样。我建议你在学习后续章节时，时刻带着这张图去思考——你现在学的内容，属于哪个模块？

好了，第一章就到这里。记住，卷积加速器设计的核心就是：理解算法、优化架构、平衡资源。后面我们会一步步深入每个细节。