一、卷积运算基础：从数学公式到硬件实现
大家好，我是你们的老朋友。今天咱们聊聊卷积——这个在AI加速里最基础、也最核心的操作。
说实话，我刚入行那会儿，看到卷积公式就头疼。一堆求和符号，还有那个奇怪的翻转操作。后来做FPGA加速器项目，才真正理解它到底在干什么。
1.1 卷积的数学本质
先看标准公式。一维离散卷积长这样：
y[n] = ∑ x[k] · h[n-k] (k从-∞到+∞)嗯，看着有点吓人。但说白了，就是两个序列的「加权叠加」。
我习惯这么理解：卷积就是用一个模板（卷积核）去扫描另一个序列（输入），在每个位置做点积。
二维卷积更常见，图像处理里天天用：
Y[i][j] = ∑∑ X[i+m][j+n] · K[m][n]这里K是卷积核，通常3×3或5×5。你想想看，每个输出像素，都是输入图像一个小窗口和卷积核的加权和。
核心要点：卷积的本质是「局部加权求和」。不是全连接，是局部连接——这是它高效的关键。
1.2 从公式到计算模式
我在项目中遇到过一个问题：很多新手把卷积和互相关搞混。其实在深度学习里，我们用的「卷积」严格来说是互相关——没有那个翻转操作。
为什么？因为卷积核的参数是学出来的，翻转不翻转无所谓。但理解这个区别，对硬件设计很重要。
卷积的计算模式可以拆成三步：
- 滑动窗口：卷积核在输入上滑动，步长stride控制移动距离
- 局部点积：每个窗口内，输入和卷积核对应位置相乘
- 累加求和：所有乘积加起来，得到一个输出值
举个例子。输入是5×5的图像，卷积核是3×3，步长1：
输入 (5×5): 卷积核 (3×3): 输出 (3×3):
[1 2 3 4 5] [1 0 -1] [? ? ?]
[6 7 8 9 10] [2 0 -2] [? ? ?]
[11 12 13 14 15] [1 0 -1] [? ? ?]
[16 17 18 19 20]
[21 22 23 24 25]
第一个输出值 = 1×1 + 2×0 + 3×(-1) +
6×2 + 7×0 + 8×(-2) +
11×1 + 12×0 + 13×(-1)
= 1 + 0 - 3 + 12 + 0 - 16 + 11 + 0 - 13
= -8你看，就这么简单。每个输出像素，都是9次乘法和8次加法。
1.3 硬件实现的关键挑战
好了，数学搞清楚了。但用硬件实现，问题就来了。
第一个问题：数据复用。 滑动窗口有大量重叠。比如3×3卷积，相邻窗口有6个像素是重复的。如果每个窗口都重新读数据，带宽根本扛不住。
我做过一个项目，用DDR3读图像数据做卷积。没做数据复用的时候，带宽利用率不到10%。后来加了行缓冲（line buffer），一下子提到80%以上。
我的经验：行缓冲是FPGA做卷积的标配。一般用BRAM实现，深度等于图像宽度，存一行数据。配合移位寄存器，可以同时提供3行数据给卷积窗口。
第二个问题：并行度。 卷积天然适合并行——每个输出像素的计算是独立的。但并行多少？这取决于你的资源。
我习惯这么算：一个DSP48可以做一个乘加操作。3×3卷积需要9个乘加。如果你有100个DSP，理论上可以同时算11个输出像素。但还要考虑数据带宽能不能跟上。
第三个问题：边界处理。 卷积核不能超出输入边界。常见做法是补零（zero padding）。但补零会引入额外的控制逻辑。
注意：补零不是唯一选择。也可以直接丢弃边界（valid convolution），或者复制边界像素。选哪种，看你的应用场景。我一般用补零，因为控制逻辑最简单。
1.4 卷积的变体与扩展
实际项目中，我们很少用标准卷积。因为计算量太大了。一个224×224的图像，用64个3×3卷积核，光一层就要几千万次乘加。
常见的优化变体：
| 变体名称 | 核心思想 | 计算量节省 |
|---|---|---|
| 分组卷积 | 把输入通道分组，每组独立卷积 | 约1/组数 |
| 深度可分离卷积 | 先逐通道卷积，再1×1卷积 | 约1/通道数 |
| 空洞卷积 | 卷积核元素之间插入空洞 | 不减少计算，但扩大感受野 |
| 转置卷积 | 上采样用的卷积 | 计算量更大 |
我曾经在FPGA上实现过深度可分离卷积。逐通道卷积那部分，每个通道只需要一个DSP，特别省资源。但要注意，1×1卷积那步反而成了瓶颈——因为要跨通道累加。
1.5 本章知识体系
下面这张图，是我自己总结的卷积知识框架。从数学公式到硬件实现，每一步的关键点都在里面了。
这张图把卷积从数学到硬件串起来了。你仔细看，每个箭头都代表一个设计决策。比如从「计算模式」到「数据复用」，就是决定用行缓冲还是用寄存器阵列。
一句话总结：卷积就是「局部加权求和」的并行化。数学上简单，硬件上考验的是数据流设计和资源调度。
好了，这一章就到这里。下一章我们开始动手——用Verilog写一个最简单的3×3卷积模块。到时候我会把行缓冲、乘加器、流水线控制这些细节一一拆开讲。
可可精品资料库