VIP20

本课程属于：023-Zynq平台开发 芯片设计与FPGA · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

卷积加速器流水线设计实战

📚 共计 30 章节

卷积加速器概述

从软件算法到硬件加速的思维转变，卷积运算的数学本质与数据流特征，加速器设计的核心挑战（计算强度、带宽瓶颈、数据复用）。

思维转变数据流带宽

卷积运算的硬件映射

im2col + GEMM 方法详解，直接卷积的硬件实现，Winograd 快速卷积算法简介，不同映射方法的优缺点对比。

im2colWinograd映射

流水线基础理论

流水线的基本概念（吞吐率、延迟、启动间隔），流水线级平衡，流水线冒险（结构冒险、数据冒险、控制冒险）及其在加速器中的表现形式。

吞吐率冒险平衡

加速器微架构概览

经典的脉动阵列（Systolic Array）架构，空间架构 vs 时间架构，数据流类型（权重固定、输入固定、输出固定、行固定）。

脉动阵列空间/时间数据流

处理单元（PE）设计

PE 的微架构（乘法器、累加器、寄存器文件），MAC 操作与定点数计算，PE 内部的流水线阶段划分，PE 阵列的互连方式。

MAC定点互连

输入特征图（IFMAP）加载流水线

DMA 引擎设计，多级缓存（Global Buffer -> Local Buffer）的数据搬运，双缓冲（Double Buffering）与 Ping-Pong 机制。

DMA双缓冲Ping-Pong

权重（Weight）加载与分发流水线

权重的预取策略，权重广播与多播，权重重用的硬件支持，权重压缩与解压缩。

预取广播压缩

部分和（PSUM）累加与写回流水线

部分和的本地累加，跨 PE 的部分和传递，累加器树与加法器树的设计，写回 DRAM 的带宽优化。

累加器树带宽PSUM

控制通路设计

全局控制器（Finite State Machine）设计，指令集架构（ISA）与微码，配置寄存器（CSR）的流水线控制，动态调度与静态调度的权衡。

数据流调度策略

行固定（Row Stationary）数据流的硬件实现，输出固定（Output Stationary）数据流的硬件实现，权重固定（Weight Stationary）的硬件实现，不同数据流对 PE 利用率和数据复用的影响。

Row固定Output固定复用

脉动阵列（Systolic Array）深度解析

一维脉动阵列 vs 二维脉动阵列，数据在阵列中的流动方式（半脉动 vs 全脉动），Google TPU 的脉动阵列案例分析。

1D/2DTPU半脉动

存储层次与带宽优化

Global Buffer 的 SRAM 设计（容量、位宽、Bank 数），HBM/DRAM 接口与带宽计算，数据复用策略（时间复用、空间复用），行缓冲（Line Buffer）的设计。

SRAMHBMLine Buffer

卷积层参数对硬件的影响

卷积核大小（1x1, 3x3, 5x5）对 PE 阵列利用率的影响，步长（Stride）与填充（Padding）的硬件处理，分组卷积（Group Conv）与深度可分离卷积（Depthwise Conv）的硬件映射。

StridePadding分组卷积

池化层与激活函数的流水线集成

池化层（Max Pooling, Average Pooling）的硬件实现，ReLU / ReLU6 / Sigmoid 的硬件实现，池化与激活的流水线插入位置。

池化ReLU流水线

定点量化与精度管理

浮点转定点的量化方法（对称量化、非对称量化），量化参数（Scale, Zero Point）的硬件处理，精度损失分析与混合精度推理。

量化Scale混合精度

批归一化（Batch Normalization）的硬件融合

BN 的数学推导与折叠到卷积中的方法，BN 参数的预计算与硬件存储，融合后的计算简化。

BN融合折叠简化

加速器时序与时钟域设计

多时钟域（DRAM 时钟、Core 时钟、PE 时钟）的同步，异步 FIFO 与握手信号，时钟门控与功耗优化。

时钟域异步FIFO门控

验证与调试策略

RTL 仿真环境的搭建（Testbench, Scoreboard），形式化验证在控制通路中的应用，FPGA 原型验证的常见问题，片上调试（Debug）模块设计。

TestbenchFPGA调试

性能建模与评估

Roofline 模型分析加速器性能，计算吞吐率与访存带宽的平衡，利用率的数学建模（卷积层参数 vs 阵列尺寸），实际性能与理论性能的差距分析。

Roofline吞吐率利用率

低功耗设计技术

数据门控（Data Gating）与操作数隔离，PE 阵列的电源门控（Power Gating），动态电压频率调整（DVFS）在加速器中的应用，降低数据搬运功耗的方法。

门控DVFS低功耗

稀疏性加速

细粒度稀疏（Fine-grained Sparsity）的硬件支持，粗粒度稀疏（Coarse-grained Sparsity）与结构化剪枝，零值跳过（Zero Skipping）的 PE 设计，稀疏索引的编解码。

稀疏剪枝Zero Skipping

多核与多加速器互联

NoC（Network-on-Chip）在加速器中的应用，多核同步与任务划分，全局共享缓存的一致性，多加速器级联的流水线设计。

NoC多核一致性

编译器与硬件协同设计

TVM / MLIR 等编译器框架简介，算子调度（Schedule）与硬件约束的映射，指令生成与二进制编码，编译器的自动调优（Auto-tuning）。

TVMMLIR自动调优

RISC-V 协处理器接口

RISC-V 自定义指令扩展，协处理器接口（RoCC / C-extension）的握手协议，加速器作为 RISC-V 的 Functional Unit，中断与异常处理。

RISC-VRoCC自定义指令

高级综合（HLS）与敏捷设计

HLS 实现卷积加速器的流程，HLS 的流水线指令（PIPELINE, DATAFLOW），HLS 与手写 RTL 的对比，Chisel / SpinalHDL 等硬件构建语言在加速器设计中的应用。

HLSChiselDATAFLOW

FPGA 实现与优化

FPGA 上的卷积加速器架构（Xilinx DPU 为例），DSP48 与 BRAM 的高效利用，FPGA 时序收敛技巧，HLS 在 FPGA 上的部署流程。

DPUDSP48时序收敛

ASIC 实现与物理设计

从 RTL 到 GDSII 的流程简介，综合（Synthesis）与扫描链插入，布局布线（Place & Route）对加速器性能的影响，物理设计中的功耗与面积优化。

GDSII综合布局布线

前沿架构探索

近存计算（Near-Memory Computing）与存内计算（In-Memory Computing），模拟计算与数模混合加速器，光计算与量子计算在卷积加速中的潜力。

近存计算存内计算光计算

经典加速器案例分析

Google TPU v1/v2/v3 架构演进，NVIDIA Tensor Core 的脉动阵列实现，华为昇腾（Ascend）达芬奇架构，Esperanto ET-SoC-1 的 RISC-V 众核加速器。

TPUTensor Core昇腾

项目实战：设计一个 8x8 PE 阵列的卷积加速器

需求规格定义，微架构设计与流水线规划，RTL 编码与仿真验证，性能评估与优化迭代，项目总结与经验分享。

8x8 PERTL项目实战