2、GPU架构基础：GPU计算单元、存储层次、流水线、并行模型

在FPGA上构建GPU原型验证平台之前，必须首先建立对GPU架构的精确认知。GPU并非简单的“多核CPU”，其设计哲学是围绕大规模数据并行计算展开的，通过隐藏延迟而非降低延迟来换取吞吐量。本章将深入剖析GPU的四大核心支柱：计算单元的组织方式、存储层次的容量与带宽权衡、流水线的工作机制以及并行编程模型。理解这些基础，是后续进行FPGA原型划分、时钟域设计、资源映射和性能调优的前提。若缺乏对GPU微架构的深刻理解，原型验证很容易陷入“功能正确但时序混乱”或“资源利用率极低”的困境。

上图展示了GPU架构的四大核心模块及其在FPGA原型中的映射关系。在后续章节中，我们将逐一拆解这些模块的微架构细节，并讨论如何在FPGA上高效实现。

2.1 GPU计算单元：从流处理器到Tensor Core

核心原理：SIMT与吞吐量设计

GPU的计算单元以流多处理器（SM，Streaming Multiprocessor）（NVIDIA）或计算单元（CU，Compute Unit）（AMD）为基本单位。每个SM内部包含数十个标量处理核心（SP，Streaming Processor），这些核心以单指令多线程（SIMT，Single Instruction Multiple Thread）模式运行。与CPU的SIMD不同，SIMT允许每个线程拥有独立的寄存器状态和分支路径，但硬件调度以Warp（32个线程）为基本单位。这意味着，当一个Warp中的线程发生分支发散时，所有分支路径会被串行执行，导致部分核心空闲。

现代GPU还集成了Tensor Core（张量核心），专门用于矩阵乘加运算（如4x4矩阵）。Tensor Core在FPGA原型验证中是一个巨大的挑战，因为其脉动阵列（Systolic Array）结构需要大量的DSP48E2（Xilinx）或DSP58（Intel）资源。在FPGA上，通常使用脉动阵列或分布式算术（DA）算法来模拟Tensor Core的运算，但需要仔细权衡精度与资源消耗。

判断方法：计算单元资源估算

在开始FPGA原型设计前，必须进行资源预算。以下是一个简化的估算流程：

1. 确定目标GPU型号：例如NVIDIA A100，拥有108个SM，每个SM含64个FP32核心。
2. 计算总核心数：108 SM × 64 = 6912个FP32核心。
3. FPGA资源折算：每个FP32乘法器约需2个DSP48E2，每个加法器约需1个DSP48E2。若使用FPGA实现所有核心，则需要约 6912 × 3 = 20736 个DSP，这远超任何单片FPGA的容量。
4. 确定复用比：假设FPGA有4096个DSP，则复用比为 20736 / 4096 ≈ 5。即每个物理DSP需要处理5个逻辑核心的运算。

上表清晰地表明，完全并行的GPU核心映射在FPGA上不可行。因此，原型验证必须采用分时复用或降精度模拟（如使用FP16代替FP32）策略。

案例拆解：基于脉动阵列的Tensor Core原型

背景与约束：某AI芯片公司需要在FPGA上验证其自定义的4x4 Tensor Core指令集，目标时钟频率为200MHz，FPGA资源限制为LUT 1.2M，DSP 3000个。

初始现象：直接使用4x4乘法器阵列需要16个乘法器和12个加法器，共需约44个DSP。但Tensor Core需要支持FP16输入和FP32累加，导致资源翻倍。

分析过程：通过分析数据流，发现矩阵乘法可以分解为多个周期。采用脉动阵列结构，将4x4矩阵乘法拆分为4个周期，每个周期仅计算一行乘一列。这样，乘法器数量从16个减少到4个，但增加了数据缓冲寄存器。

实际操作：

// 伪代码：4x4脉动阵列Tensor Core
module systolic_tensor_core (
  input clk, rst_n,
  input [15:0] a[0:3][0:3], // FP16矩阵A
  input [15:0] b[0:3][0:3], // FP16矩阵B
  output [31:0] c[0:3][0:3] // FP32累加结果
);
  // 仅使用4个DSP乘法器，通过状态机控制数据流动
  reg [1:0] cycle;
  always @(posedge clk) begin
    if (!rst_n) cycle <= 0;
    else cycle <= cycle + 1;
  end
  // 每个cycle计算一行乘一列，累加到C矩阵
  // 具体实现省略...
endmodule

结果对比：脉动阵列方案将DSP消耗从44个降至12个（4个乘法器+8个加法器），但代价是计算延迟从1个周期增加到4个周期。在200MHz时钟下，4周期延迟完全可接受。

复盘经验：FPGA原型验证中，面积换时间是核心策略。脉动阵列不仅节省了DSP，还简化了布线，提高了时序收敛性。

2.2 存储层次：带宽与容量的博弈

核心原理：GPU存储金字塔

GPU的存储层次设计目标是最大化带宽，而非最小化延迟。从寄存器文件（RF）到全局内存（DRAM），每一级的容量增加约一个数量级，但带宽下降约一个数量级。关键层级包括：

• 寄存器文件（RF）：每个SM拥有256KB，总带宽可达数十TB/s。在FPGA中，RF通常映射为分布式RAM（LUTRAM），但容量有限。
• 共享内存（SMEM）：每个SM 192KB，带宽与RF相当。FPGA中映射为Block RAM（BRAM），但BRAM的端口数量有限（通常为2个读写端口），无法完全模拟GPU的多端口访问。
• L1/L2缓存：L1缓存与SMEM共享物理存储，L2缓存为所有SM共享。FPGA中，L2缓存通常映射为外部DDR4或HBM，但延迟远高于片上缓存。
• 全局内存（DRAM）：容量最大（数十GB），带宽约2TB/s（HBM2e）。FPGA原型中，使用DDR4（带宽约20GB/s）或HBM（带宽约460GB/s）模拟，但带宽差距巨大。

判断方法：存储带宽瓶颈分析

在FPGA原型验证中，存储带宽往往是最大的瓶颈。以下是一个带宽匹配检查清单：

1. 计算需求：计算单元每秒需要读取多少字节数据？例如，一个SM每秒执行64次FP32乘加，每次需要读取8字节（两个操作数），则带宽需求为 64 × 8 = 512 B/cycle。
2. FPGA存储带宽：BRAM总带宽 = BRAM数量 × 端口数 × 位宽 × 时钟频率。例如，VU9P有2016个BRAM，每个36Kb，双端口，位宽72bit，频率200MHz，总带宽 = 2016 × 2 × 72 × 200MHz ≈ 58 TB/s。
3. 对比：如果计算需求超过FPGA存储带宽，则需要增加数据复用（如寄存器缓存）或降低计算并行度。

上表显示，L2缓存和全局内存的带宽差距是FPGA原型的主要瓶颈。因此，在原型设计中，应尽量将热点数据保持在BRAM或LUTRAM中，减少对外部DDR的访问。

案例拆解：矩阵乘法中的存储优化

背景：验证一个128x128的FP16矩阵乘法，GPU上使用共享内存分块（Tiling）技术。FPGA原型需要模拟这一行为。

初始现象：直接实现时，每个周期需要从DDR读取两个矩阵元素，导致DDR带宽耗尽，性能仅为GPU的1/50。

分析：采用分块策略，将矩阵分为16x16的子块。每个子块加载到BRAM中，计算时从BRAM读取数据。

操作步骤：

1. 将128x128矩阵分为64个16x16子块。
2. 使用DMA引擎将子块从DDR加载到BRAM（双缓冲机制，隐藏加载延迟）。
3. 计算单元从BRAM读取数据，执行乘加运算。
4. 结果写回BRAM，最终由DMA写回DDR。

结果：DDR访问次数从 128×128×2 = 32768 次降至 64×2 = 128 次（每个子块加载一次），带宽需求降低256倍。

复盘：FPGA原型中，数据复用是弥补带宽不足的关键。分块大小需根据BRAM容量和计算单元数量动态调整。

2.3 流水线：从指令级到线程级

核心原理：多级流水线与Warp调度

GPU的流水线分为两个层次：指令流水线和线程流水线。指令流水线包括取指（Fetch）、译码（Decode）、执行（Execute）、写回（Writeback）等阶段，与CPU类似。但GPU的独特之处在于Warp调度器：每个SM有4个调度器，每个调度器每周期可发射一条指令到一个Warp。为了隐藏内存访问延迟，调度器会在多个Warp之间快速切换。

在FPGA原型中，指令流水线相对容易实现，但Warp调度器的设计较为复杂。FPGA通常使用状态机来模拟调度逻辑，但状态机的状态数量有限，无法完全模拟GPU的复杂调度算法（如Greedy Then Oldest）。

判断方法：流水线冲突检测

在FPGA原型中，流水线冲突会导致性能下降。常见的冲突包括：

• 结构冲突：多个Warp同时访问同一BRAM端口。解决方法：使用多端口BRAM或复制存储。
• 数据冲突：写后读（RAW）冲突。解决方法：在流水线中插入旁路（Bypass）逻辑。
• 控制冲突：分支指令导致流水线清空。解决方法：使用分支预测或延迟槽。

建议在RTL设计阶段，使用仿真波形检查流水线冲突，并统计每周期指令发射数（IPC）。如果IPC低于0.5，说明流水线效率低下，需要优化调度策略。

案例拆解：Warp调度器的FPGA实现

背景：设计一个支持4个Warp的调度器，每个Warp有32个线程。目标时钟200MHz。

初始方案：使用轮询（Round-Robin）调度，每个周期切换Warp。但发现当某个Warp等待内存数据时，轮询会浪费周期。

优化方案：采用基于记分板（Scoreboard）的调度。每个Warp有一个状态寄存器，标记其是否就绪。调度器优先选择就绪的Warp。

// 记分板调度器伪代码
always @(posedge clk) begin
  if (warp0_ready) issue_warp = 0;
  else if (warp1_ready) issue_warp = 1;
  else if (warp2_ready) issue_warp = 2;
  else if (warp3_ready) issue_warp = 3;
  else issue_warp = 4; // 无就绪Warp，发射NOP
end

结果：IPC从0.4提升至0.8，性能提升一倍。代价是增加了记分板逻辑，但LUT消耗仅增加5%。

2.4 并行模型：从线程到网格

核心原理：CUDA/HIP编程模型

GPU的并行模型是分层的：线程（Thread）是最小单位，32个线程组成一个Warp，多个Warp组成一个线程块（Block），多个Block组成一个网格（Grid）。线程块内的线程可以通过共享内存通信，并通过栅栏（Barrier）同步。不同Block之间无法直接通信，只能通过全局内存。

在FPGA原型中，这种分层模型需要映射为硬件状态机。通常，一个Block对应一个硬件线程槽，Block内的Warp通过时间复用共享计算单元。

判断方法：并行度与资源匹配

在FPGA原型中，需要确定最大并发Block数。计算公式如下：

1. 计算资源限制：每个Block需要多少寄存器、BRAM、DSP？
2. FPGA总资源：将FPGA资源除以每个Block的资源需求，得到最大Block数。
3. 调度策略：如果Block数超过硬件槽位，则需要排队等待。

上表显示，BRAM是限制因素，最大并发Block数为63。因此，在原型设计中，应优先优化BRAM使用。

案例拆解：并行归约（Reduction）的FPGA实现

背景：实现一个包含1024个线程的并行求和操作，每个线程计算一个值，最终归约为一个标量。

GPU方案：使用树形归约，每个Block内先归约，再通过原子操作归约到全局。

FPGA映射：

1. 将1024个线程分为4个Block，每个Block 256个线程。
2. 每个Block内，使用BRAM存储部分和，通过多级流水线归约。
3. 最后，4个Block的部分和通过原子操作（或专用加法器）累加。

结果：FPGA实现达到了与GPU相同的功能，但吞吐量受限于BRAM端口数。通过使用双端口BRAM，将归约速度提升了一倍。