📚 课程目录第3章 GPU资源类型

GPU资源类型：显存、计算核心、带宽等资源概述

在GPU计算资源管理中，第一步是准确理解GPU内部到底有哪些资源可以被调度、监控和优化。很多初学者把GPU简单理解为“一块显卡”，但在资源管理视角下，GPU是一个由显存（VRAM）、计算核心（CUDA Cores / Stream Processors）、显存带宽、缓存层级以及专用硬件单元（如Tensor Core、RT Core）组成的复杂异构计算系统。只有分清这些资源的类型、容量和相互制约关系，才能正确判断一个任务究竟“卡”在哪个环节。

3.1 核心资源维度：显存、计算核心与带宽

从资源管理的角度，GPU资源可以归纳为三个最核心的维度：容量型资源（显存）、吞吐型资源（计算核心）和传输型资源（带宽）。三者共同决定了一次计算任务的性能上限。

显存（VRAM）：用于存放模型参数、中间激活值、梯度、输入数据等。显存不足会导致“Out of Memory”（OOM）错误，是日常运维中最常见的故障源。
计算核心：包括CUDA Core（NVIDIA）或Stream Processor（AMD），负责执行浮点运算、整数运算、逻辑判断等。核心数量与频率共同决定算力（FLOPS）。
显存带宽：指显存与计算核心之间每秒能交换的数据量（GB/s）。带宽不足时，即使核心算力再强，也会因“等数据”而空转。

三者之间的关系可以用一个简单的“水桶模型”来理解：显存是水桶的容量，决定能装多少水；计算核心是出水口，决定处理速度；带宽是连接水桶与出水口的水管，决定水能否及时供应。任何一环成为瓶颈，整体性能都会受限。

3.2 计算核心的层级结构：从SM到CUDA Core

NVIDIA GPU的计算核心并非简单堆叠，而是采用层级化架构。以现代Ampere架构为例，最基本的物理单元是CUDA Core，若干个CUDA Core组成一个SM（Streaming Multiprocessor，流式多处理器），多个SM再构成整个GPU。CUDA编程中的“线程块”（Thread Block）就是被调度到某个SM上执行的。

这种层级结构对资源管理有直接影响：

线程束（Warp）：SM以32个线程为一组（称为warp）进行调度。如果线程数不是32的倍数，会造成部分CUDA Core空闲。
寄存器文件（Register File）：每个SM内有固定容量的寄存器，分配给线程使用。寄存器不足会限制每个SM上同时活跃的线程数。
共享内存（Shared Memory）：SM内的高速缓存，容量通常为几十到一百多KB。共享内存用尽会迫使数据走全局显存，大幅降低性能。

因此，在资源管理时不能只看“GPU有多少个核心”，还要关注每个SM的资源配额。例如，一个任务如果每个线程使用过多寄存器，就会导致SM能容纳的线程块数量减少，最终拉低GPU利用率。

3.3 显存带宽与计算强度的关系

显存带宽是另一个常被忽视的关键资源。现代数据中心GPU（如A100、H100）的显存带宽可达1.5~3.35 TB/s，但相比其算力（每秒数十万亿次浮点运算），仍然可能成为瓶颈。衡量一个任务是否受带宽限制，常用指标是算术强度（Arithmetic Intensity），即“每字节数据需要多少次浮点运算”。

可以用一个简单公式估算任务的理论运行时间：

运行时间 ≈ max( 总计算量 / 算力 ,  总数据量 / 带宽 )

当“总数据量 / 带宽”大于“总计算量 / 算力”时，任务就是带宽受限（Memory-bound）；反之则是计算受限（Compute-bound）。典型的带宽受限任务包括：逐元素向量运算、数据拷贝、稀疏矩阵读取；典型的计算受限任务包括：大矩阵乘法、卷积神经网络的前向传播。

实用建议：在NVIDIA GPU上可以使用 ncu（Nsight Compute）或 nvidia-smi 的利用率字段来初步判断瓶颈。如果GPU计算核心利用率（Compute Utilization）很高但显存带宽利用率（Memory Utilization）很低，说明是计算受限；反之则是带宽受限。

3.4 其他重要资源：缓存、Tensor Core与显存类型

除了上述三大维度，GPU资源管理还需要关注以下细节：

资源类型	典型容量/规格	管理要点
L2缓存	40~60 MB（A100/H100）	数据复用率高时可显著减少显存访问
Tensor Core	每个SM 4个（Ampere）	混合精度训练/推理的关键加速单元
显存类型	HBM2e / HBM3 / GDDR6X	HBM带宽高但容量相对小；GDDR6X容量大但带宽低
PCIe带宽	PCIe 4.0 x16: 32 GB/s	GPU与CPU之间数据传输的瓶颈

以NVIDIA A100为例，其关键规格为：40 GB HBM2e显存、1.5 TB/s显存带宽、6912个CUDA Core、432个Tensor Core。而消费级RTX 3090虽然也有24 GB显存，但带宽仅936 GB/s，且不支持NVLink，多卡通信能力弱。这说明显存容量相同不代表性能相同，带宽和互连能力同样关键。

3.5 案例：判断一个训练任务的资源瓶颈

假设你在A100上训练一个BERT-Large模型，观察到以下现象：

nvidia-smi 显示显存占用约35 GB（接近40 GB上限），但GPU计算利用率仅45%；
SM占用率（通过 ncu 查看）为60%，但显存带宽利用率高达85%；
训练速度远低于预期，每个step耗时约0.8秒。

从这些数据可以判断：该任务属于显存容量紧张 + 带宽受限。显存接近上限意味着无法增大batch size；带宽利用率高而计算利用率低，说明GPU核心在等待数据从显存到达。优化方向应为：

使用混合精度（FP16/BF16）训练，减少显存占用和带宽压力；
开启梯度检查点（Gradient Checkpointing），用计算换显存；
优化数据加载管线，避免CPU到GPU的PCIe传输成为额外瓶颈。

3.6 常见误区与复盘

误区一：只看显存容量，忽略带宽。有人以为“显存越大越好”，但若任务本身是带宽受限，增加显存容量并不会提升速度。例如在RTX 3090（24 GB，936 GB/s）和A5000（24 GB，768 GB/s）之间，前者带宽更高，某些数据密集型任务反而更快。

误区二：认为GPU利用率高就代表性能好。GPU利用率100%可能只是计算核心在忙，但如果它忙的是低效的等待或重复读取，实际吞吐并不高。应同时关注“计算利用率”和“内存利用率”两个指标。

误区三：忽略SM内部资源限制。有时GPU显存和带宽都充足，但性能仍然上不去。此时应检查寄存器使用量、共享内存占用和线程块大小是否限制了SM的并发度。例如，一个线程块使用过多共享内存，会导致每个SM只能容纳1~2个线程块，无法隐藏访存延迟。

复盘总结：GPU资源管理不是单一维度的监控，而是对显存容量、显存带宽、计算核心、SM内部资源、缓存层级的综合调度。在实际运维中，建议建立“资源画像”习惯：对每个重要任务记录其显存占用峰值、带宽利用率、SM活跃度、寄存器/共享内存使用情况。当性能出现异常时，对照画像即可快速定位是容量不足、带宽受限还是核心利用率低，从而采取针对性的优化手段。