第四章：卷积神经网络基础

各位同学，今天我们来聊聊卷积神经网络的基础构件。说实话，很多做HLS加速的同学，一上来就撸代码，结果连卷积层和全连接层的区别都没搞明白。我见过太多这样的案例了——算法模型跑得飞起，一到硬件实现就卡壳。

为什么会这样？因为你不理解这些层的本质。咱们今天就把这些基础打牢。

卷积层说白了就是一组可学习的滤波器。每个滤波器在输入图像上滑动，做点积运算。嗯，这里要注意——不是数学里的卷积，其实是互相关运算。

核心公式：

输出特征图 = 输入特征图 * 卷积核 + 偏置

其中 * 表示互相关运算

我在项目中遇到过一个问题：很多人以为卷积核越大越好。其实不然。3×3的卷积核堆叠两层，感受野相当于5×5，但参数量更少，非线性更强。这是我踩过的坑，分享给你们。

卷积层有几个关键参数：

我的经验：做HLS加速时，我习惯把卷积核大小固定为3×3。为什么？因为3×3的卷积核在FPGA上最容易做数据复用，访存效率最高。你想想看，7×7的卷积核，一次要加载49个权重，DSP资源很快就吃满了。

池化层的作用很简单——降低特征图的空间尺寸。说白了就是下采样。常见的两种：

我个人习惯用最大池化。为什么？因为它能保留最显著的特征。平均池化会把特征"抹平"，有时候反而丢失了关键信息。

避坑指南：我曾经在FPGA上实现池化层时，忽略了池化窗口的边界处理。结果特征图尺寸算错了，后面的全连接层直接报维度不匹配。嗯，从那以后我每次都会手算一遍输出尺寸。

池化层的输出尺寸计算公式：

输出高度 = (输入高度 - 池化窗口高度) / 步长 + 1
输出宽度 = (输入宽度 - 池化窗口宽度) / 步长 + 1

全连接层，说白了就是一个多层感知机。每个神经元和上一层的所有神经元相连。参数量巨大——这是它的特点，也是它的痛点。

举个例子：如果上一层有4096个神经元，这一层有1000个神经元，那权重矩阵就是4096×1000 ≈ 400万个参数。你想想看，这在FPGA上存储得多费劲。

我的建议：做硬件加速时，尽量把全连接层替换成全局平均池化。参数量直接降到原来的千分之一。我在一个图像分类项目里试过，准确率只掉了0.3%，但资源消耗减少了80%。

没有激活函数，神经网络就是一堆线性变换的堆叠。那跟线性回归有什么区别？

常见的激活函数：

函数名	公式	特点	硬件友好度
ReLU	max(0, x)	计算简单，缓解梯度消失	★★★★★
Sigmoid	1/(1+e⁻ˣ)	输出范围(0,1)，易饱和	★★☆☆☆
Tanh	(eˣ-e⁻ˣ)/(eˣ+e⁻ˣ)	输出范围(-1,1)，零中心	★★☆☆☆

做HLS加速时，我几乎只用ReLU。为什么？因为它只需要一个比较器，不需要查表，不需要泰勒展开。你想想看，Sigmoid在FPGA上实现，要么用CORDIC算法，要么用查找表，资源开销大得很。

小技巧：ReLU有个变体叫Leaky ReLU，公式是max(αx, x)。α通常取0.01。这个在FPGA上实现也很简单，就是多一个乘法器的事。我建议你们在精度要求高的场景下试试。

数据流图，说白了就是张量在网络中的流动路径。每个节点是操作，每条边是数据依赖。

我习惯用数据流图来思考硬件加速。为什么？因为数据流图天然适合映射到流水线架构。每个操作对应一个硬件模块，数据在模块间流动。

下面我画了一张典型的CNN数据流图，你们感受一下：

这张图展示了一个简化的CNN数据流。输入图像经过卷积层提取特征，ReLU引入非线性，池化层降维，最后全连接层做分类。每个箭头代表张量的流动方向。

硬件视角：做HLS加速时，我习惯把数据流图拆成三个阶段：

这样划分后，每个阶段的硬件资源需求就一目了然了。

好了，卷积神经网络的基础就讲到这里。这些概念是后续HLS加速的基石。你们先把这些吃透，后面讲卷积层的硬件实现时，才不会觉得吃力。

课后思考：为什么说3×3卷积核在FPGA上比5×5更友好？提示：从数据复用和DSP资源两个角度想。