GPU基础架构：从硬件组成到调度单元

要理解GPU利用率为何波动，首先必须看清GPU内部是如何组织的。与CPU面向串行任务、追求单核极致性能不同，GPU面向海量并行任务，其设计哲学是“用大量简单核心 + 精细调度”来换取吞吐量。本章将拆解GPU的硬件组成、计算与内存层次，以及流处理器与调度单元的工作机制，为后续分析利用率波动打下硬件基础。

2.1 GPU硬件整体组成

以NVIDIA Ampere架构（如A100）和Hopper架构（如H100）为例，一颗GPU芯片由以下关键区域构成：

• GPU芯片（Die）：包含所有计算单元、缓存、互联总线，通过PCIe或NVLink与主机通信。
• 内存系统：包括显存（HBM2e/HBM3）、L2缓存、各SM内部的L1/共享内存。
• GPC（图形处理簇）：芯片被划分为多个GPC，每个GPC包含若干TPC（纹理处理簇）。
• TPC：每个TPC包含两个SM（流式多处理器），是实际执行计算的单元。
• 内存控制器：管理显存读写，与L2缓存直接相连。

下图展示了从芯片到SM的层级结构，以及数据通路：

从图中可以看到，SM是GPU最基本的计算单元，多个SM组成TPC，多个TPC组成GPC。所有SM通过L2缓存与显存交互。这种层级结构决定了数据访问路径的长度，也直接影响利用率——如果数据频繁在SM与显存之间搬运，计算单元就会等待，利用率自然下降。

2.2 计算与内存层次

GPU的内存层次设计遵循“越靠近计算单元，速度越快、容量越小”的原则。理解这一层次对定位利用率瓶颈至关重要。

关键认知：SM访问显存的延迟是访问寄存器的数百倍。当线程需要从显存加载数据时，如果数据不在L2/L1缓存中，该线程就会停滞等待。GPU通过大量线程的并行切换来隐藏这种延迟——当一个线程等待内存时，调度器立即切换到另一个就绪线程执行。

2.3 流处理器与调度单元

每个SM内部包含多个流处理器（CUDA Core），以及负责指令分发的调度单元（Warp Scheduler）。以A100的SM为例：

• 128个CUDA Core：分为4个处理块，每个块32个核心。
• 4个Warp Scheduler：每个调度器管理一组线程束（Warp）。
• Warp（线程束）：32个线程组成一个Warp，这是GPU调度和执行的基本单位。
• 指令分发单元：每个调度器每个时钟周期可向对应处理块发射一条指令。

调度机制的核心逻辑如下：

// 伪代码：Warp调度器工作逻辑
每个时钟周期:
  1. 从就绪队列中选择一个Warp
  2. 检查该Warp下一条指令所需操作数是否就绪
  3. 若就绪，发射指令到执行单元
  4. 若未就绪（等待内存/同步），标记为阻塞，选择下一个Warp
  5. 若所有Warp都阻塞，SM进入空闲（Stall）状态

这里有一个关键概念：Occupancy（占用率）。它表示SM中活跃Warp数量与最大可容纳Warp数量的比值。高占用率意味着有更多Warp可供调度器切换，从而更好地隐藏内存延迟。但占用率并非越高越好——过高的占用率可能导致寄存器溢出或缓存抖动。

2.4 案例：一个典型kernel的执行流程

假设我们启动一个包含1024个线程的kernel，GPU会如何执行？

1. 线程块分配：1024个线程被组织为若干线程块（Block），例如8个Block，每块128线程。
2. Block调度到SM：GPU的全局调度器将Block分配到各个SM。一个SM可以同时容纳多个Block（受资源限制）。
3. Warp划分：每个Block内的128线程被划分为4个Warp（每Warp 32线程）。
4. Warp执行：SM的4个调度器各负责一个Warp组，每个时钟周期发射一条指令。
5. 内存访问：当Warp执行到需要访问显存的指令时，该Warp进入等待状态，调度器切换到其他就绪Warp。

假设每个线程需要从显存读取一个float（4字节），1024线程共需读取4KB数据。如果数据在L2缓存中，延迟约200周期；如果在HBM中，延迟约500周期。在等待期间，调度器可以执行其他Warp的指令——这就是GPU隐藏延迟的基本原理。

2.5 常见误区与复盘