4. 深度学习模型基础：卷积神经网络（CNN）原理、常用网络结构（ResNet/YOLO）、模型计算图与算子

各位同学，今天我们聊聊深度学习模型的基础。说实话，很多做FPGA加速的同学，一上来就盯着Vitis AI的API看，结果模型结构都搞不清楚，部署的时候踩坑无数。我个人习惯是，先把模型本身吃透，再谈加速。今天这章，我们就从CNN的原理讲起，再到ResNet和YOLO这两个经典网络，最后聊聊计算图和算子——这些是你在FPGA上做硬件映射时必须理解的东西。

4.1 卷积神经网络（CNN）的核心原理

CNN说白了就是一套「滑动窗口」的机制。你想想看，一张图片那么大，我们不可能把每个像素都连成全连接——那参数数量会爆炸。卷积操作的核心思想就是：用一个小窗口（卷积核）在图像上滑动，提取局部特征。

我在项目中遇到过一个问题：有人把卷积核大小设成了7x7，结果FPGA上的DSP资源直接爆了。为什么？因为卷积的计算量跟核大小是平方关系。所以实际部署时，我建议优先用3x3的卷积核，这是性能和资源的最佳平衡点。

关键公式：输出特征图尺寸 = (输入尺寸 - 卷积核尺寸 + 2×填充) / 步长 + 1

这个公式你最好背下来，写RTL代码时天天要用。

池化层呢？其实就是下采样。最大池化取窗口内的最大值，平均池化取平均值。嗯，这里要注意：在FPGA上实现时，最大池化比平均池化好做得多——只需要比较器，不需要除法器。

4.2 常用网络结构：ResNet

ResNet是我个人非常喜欢的一个网络。它的核心创新是「残差连接」——说白了就是让网络可以「跳过」某些层。为什么要这么做？因为网络太深了反而会退化，这听起来反直觉，但确实如此。

残差块的结构很简单：

输入 → 卷积 → BN → ReLU → 卷积 → BN → 加法 → ReLU → 输出
         ↑_____________________________|

这个跳跃连接在FPGA上实现时，你只需要多一个加法器和一个FIFO做数据对齐。我曾经在Xilinx的Zynq上部署ResNet-50，就是因为这个跳跃连接，让流水线设计变得非常优雅——数据路径天然就是并行的。

部署小技巧：ResNet的BN层在推理时可以融合到卷积层中。具体做法是把BN的gamma和beta参数乘到卷积核上。这样在FPGA上就省掉了一整个计算模块，延迟能降20%左右。

4.3 常用网络结构：YOLO

YOLO（You Only Look Once）是目标检测领域的明星。它的思路很直接：把图像分成网格，每个网格负责检测中心点落在该网格内的物体。

YOLO的输出层比较特殊——它同时输出边界框坐标、置信度和类别概率。在FPGA上部署时，这个输出层的解析是个难点。我建议的做法是：把后处理（NMS）放在ARM核上做，FPGA只负责推理部分。

YOLOv3用到了FPN（特征金字塔）结构，说白了就是多尺度检测。大特征图检测小物体，小特征图检测大物体。这个结构在FPGA上实现时，需要多个并行处理路径，对BRAM的消耗比较大。

避坑指南：我曾经在部署YOLOv4-tiny时，发现FPGA上的推理速度比预期慢了一倍。查了半天，原来是卷积层的padding实现方式不对。YOLO用的是same padding，但我在RTL里写成了valid padding，导致特征图尺寸对不上。所以，一定要仔细核对每一层的padding策略。

4.4 模型计算图与算子

计算图是深度学习模型的中间表示形式。说白了，就是把网络结构画成一个有向无环图（DAG），每个节点是一个算子（Operator），每条边是张量数据。

常见的算子包括：

  • Conv2D：二维卷积，计算量最大的算子
  • ReLU：激活函数，其实就是max(0, x)
  • MaxPool：最大池化
  • Add：逐元素加法（残差连接用）
  • Concat：通道拼接（YOLO的FPN用）
  • Reshape：张量形状变换

在Vitis AI中，模型会被编译成xmodel文件，这个文件本质上就是计算图的序列化表示。你可以在Vitis AI的Graph工具中可视化这个计算图，看看每一层的输入输出形状、数据精度等信息。

核心观点：FPGA加速的本质，就是把计算图中的算子映射到硬件资源上。卷积映射到DSP，激活函数映射到LUT，数据缓存映射到BRAM。理解了这个映射关系，你就能做出高效的加速器设计。

下面我用一张图来展示CNN模型从输入到输出的完整计算流程：

输入图像 Conv2D 3x3, 64 ReLU MaxPool FC/输出 分类结果 224x224x3 112x112x64 112x112x64 56x56x64 CNN模型计算流程图 图例： 输入 卷积 激活 池化 输出 数据流方向：从左到右，每层输出特征图的尺寸和通道数在箭头下方标注

这张图展示了一个典型的CNN前向推理流程。你注意看，每一层的输出特征图尺寸都在变化——这就是所谓的「特征图金字塔」。在FPGA上做加速时，你需要为每一层分配不同的缓存空间，这个尺寸变化直接决定了BRAM的用量。

关于算子，我再多说一句。Vitis AI的DPU（深度学习处理单元）支持一组固定的算子集合。如果你的模型里用了不支持的算子（比如某些自定义激活函数），编译时会报错。我建议在模型设计阶段就用Vitis AI的算子列表做一次「合规性检查」，省得到部署时才发现问题。

实用建议：在Vitis AI中，你可以用以下命令查看模型的计算图结构：

vai_q_tensorflow dump --input_frozen_graph frozen_graph.pb --output_dir ./dump

这个命令会生成一个文本文件，里面详细列出了每一层的算子类型、输入输出形状、参数数量等信息。我每次拿到一个新模型，第一件事就是跑这个命令，看看有没有不支持的算子。

好了，这一章的内容就到这里。CNN的原理、ResNet和YOLO的结构、计算图与算子——这些是你在FPGA上做模型加速的「内功」。内功练好了，后面用Vitis AI的工具链才会得心应手。

可可精品资料库

← 上一章 📖 返回目录 下一章 →