2、深度学习基础：神经网络基本结构、卷积层、全连接层、激活函数、池化层

在进入FPGA AI加速器设计之前，必须首先建立对深度学习模型计算本质的清晰认知。FPGA之所以能够高效加速AI推理，核心在于其可重构的并行计算架构能够精准匹配神经网络各层的数据流特征。本章将系统梳理神经网络的基本结构，重点剖析卷积层、全连接层、激活函数与池化层的数学定义、计算模式与硬件映射要点，为后续在FPGA上实现流水线设计、数据复用和算子优化奠定理论基础。

2.1 神经网络基本结构与数据流特征

现代深度学习模型（如CNN、ResNet、Transformer）本质上是由大量可微分的线性变换与非线性激活函数堆叠而成的复合函数。以卷积神经网络为例，其基本结构遵循“卷积层→激活函数→池化层→（重复）→全连接层→输出层”的范式。每一层都接收来自前一层的特征图（Feature Map），经过计算后输出新的特征图。从硬件加速视角看，这种层级结构对应着确定性的数据流：输入数据从外部存储（DDR）经DMA搬运至片上缓存（BRAM/URAM），在计算单元（DSP/ALU）中完成乘加运算，中间结果暂存于寄存器或片上存储器，最终写回外部存储。

理解数据流特征对于FPGA设计至关重要。卷积层和全连接层属于计算密集型算子，其运算量占整个模型推理的90%以上；而激活函数和池化层属于访存密集型算子，计算量小但数据搬运频繁。FPGA加速器的设计核心就是针对不同算子采用差异化的数据通路和存储策略。例如，卷积层适合采用行缓冲（Line Buffer）配合滑动窗口实现数据复用，全连接层则适合将权重矩阵分块后映射到并行乘法器阵列。

2.2 卷积层：核心计算与硬件映射

卷积层是CNN的特征提取核心。其数学定义为：对于输入特征图 \(X \in \mathbb{R}^{H \times W \times C}\)，使用 \(M\) 个尺寸为 \(K \times K \times C\) 的卷积核 \(W\) 进行滑动窗口乘加运算，并加上偏置 \(b\)，得到输出特征图 \(Y \in \mathbb{R}^{H' \times W' \times M}\)。单个输出像素的计算公式为：

Y[m][h][w] = bias[m] + Σ_{c=0}^{C-1} Σ_{i=0}^{K-1} Σ_{j=0}^{K-1} X[c][h*s+i][w*s+j] * W[m][c][i][j]

其中 \(s\) 为步长（Stride）。从计算模式看，卷积本质上是高维矩阵乘加运算，每个输出像素需要 \(K \times K \times C\) 次乘法和 \(K \times K \times C - 1\) 次加法。在FPGA实现中，通常采用以下三种数据复用策略：

• 输入特征图复用（Input Stationary）：将输入特征图固定在片上寄存器中，多个卷积核并行滑动，适用于输入通道数较少、卷积核数量较多的场景。
• 权重复用（Weight Stationary）：将权重矩阵固定在DSP旁边的寄存器中，输入数据流式进入，适用于权重较小且需要高吞吐的场景。
• 输出特征图复用（Output Stationary）：将部分和（Partial Sum）保存在片上，减少中间结果的DDR读写，适用于输出通道数较多的层。

实际工程中，FPGA加速器常采用二维脉动阵列（Systolic Array）结构，将乘加单元（MAC）排列成矩阵形式，数据在阵列中沿固定方向流动，实现极高的计算并行度。例如，Xilinx VU9P芯片拥有6840个DSP单元，若采用INT8精度，可构建32×32的脉动阵列，单周期完成1024次乘加运算。

2.3 全连接层：矩阵向量乘的并行化

全连接层通常出现在CNN的分类头或Transformer的注意力机制中，其本质是矩阵向量乘法：\(Y = W \cdot X + b\)，其中 \(X \in \mathbb{R}^{N}\)，\(W \in \mathbb{R}^{M \times N}\)，输出 \(Y \in \mathbb{R}^{M}\)。与卷积层不同，全连接层的权重矩阵通常较大（例如VGG16的第一个全连接层权重为25088×4096），无法完全驻留片上存储，必须从DDR分块读取。

FPGA实现全连接层时，核心策略是矩阵分块。将权重矩阵按行分块为 \(M_b \times N\) 的子块，每个子块对应一组并行MAC单元。例如，若FPGA有2048个DSP，可同时计算2048个输出神经元的部分和。计算流程为：

1. 将输入向量 \(X\) 广播至所有MAC单元（或存储在片上寄存器）。
2. 从DDR读取权重子块 \(W_{block}\)，与输入向量进行乘加。
3. 累加部分和，直至处理完所有 \(N\) 个输入维度。
4. 写入输出向量 \(Y\) 的对应位置。

由于全连接层访存密集，通常采用数据流水线技术：DDR读取权重与MAC计算并行执行，通过双缓冲（Ping-Pong Buffer）隐藏DDR延迟。此外，对于INT8量化模型，权重矩阵可压缩至原始1/4大小，显著降低DDR带宽压力。

2.4 激活函数：非线性映射的硬件实现

激活函数为神经网络引入非线性，使其能够逼近任意复杂函数。常用激活函数包括ReLU、Sigmoid、Tanh、Leaky ReLU等。从硬件实现角度，激活函数可分为两类：

• 分段线性函数（ReLU、Leaky ReLU）：实现简单，仅需比较器和多路选择器。ReLU即 \(max(0, x)\)，在FPGA中只需判断符号位并清零即可，消耗资源几乎为零。
• 非线性函数（Sigmoid、Tanh）：需要查找表（LUT）或分段线性逼近（PLA）。Sigmoid函数 \(σ(x) = 1/(1+e^{-x})\) 在FPGA中通常采用以下方法：

// 分段线性逼近Sigmoid（8段）
// 输入x为INT16定点数，输出y为UINT8
if (x < -4) y = 0;
else if (x < -2) y = 0.018 * x + 0.072;
else if (x < 0)  y = 0.196 * x + 0.428;
else if (x < 2)  y = 0.196 * x + 0.572;
else if (x < 4)  y = 0.018 * x + 0.928;
else y = 1;

在FPGA中，激活函数通常作为卷积/全连接计算流水线的最后一级，直接对MAC输出进行非线性变换，无需额外DDR访问。对于ReLU，只需在MAC输出寄存器后添加一个符号位判断逻辑；对于Sigmoid，则使用BRAM存储查找表或使用DSP实现分段线性计算。

2.5 池化层：下采样与特征压缩

池化层用于降低特征图的空间分辨率，同时保留主要特征，减少后续层的计算量。常见池化方式有最大池化（Max Pooling）和平均池化（Average Pooling）。以2×2最大池化为例，其操作是取2×2窗口内的最大值作为输出。池化层没有权重参数，计算量小，但需要处理窗口滑动和边界填充。

FPGA实现池化层时，通常采用移位寄存器结构：将输入特征图按行输入，通过深度为 \(W\) 的移位寄存器缓存两行数据，然后并行比较2×2窗口内的4个像素。对于最大池化，使用比较器树；对于平均池化，使用加法器和移位器（除以4）。池化层可与卷积层融合设计，即在卷积输出的流水线上直接插入池化逻辑，避免中间特征图的DDR读写。

2.6 综合对比与设计要点总结

下表从计算模式、存储需求、并行策略和FPGA资源消耗四个维度，对四类基本算子进行综合对比：

在实际FPGA AI加速器设计中，上述算子并非独立实现，而是通过算子融合技术整合为统一的计算流水线。例如，将“卷积+ReLU+池化”融合为一个模块，卷积输出直接进入ReLU和池化逻辑，中间数据不落DDR，可节省大量带宽和延迟。设计时需遵循以下原则：

• 优先融合访存密集型算子（激活、池化）到计算密集型算子（卷积、全连接）的流水线中。
• 根据FPGA片上存储容量（BRAM/URAM）决定数据分块大小，确保中间特征图尽量驻留片上。
• 对于INT8量化模型，DSP资源可复用（一个DSP可执行两次INT8乘加），需合理规划数据位宽。