GPU架构基础：硬件架构、显存层次与带宽延迟

核心原理：GPU为何需要“显存”而非“内存”

GPU（图形处理器）与CPU在设计哲学上存在根本差异。CPU拥有少量但极强的大核心，适合处理复杂、串行的控制流；而GPU则拥有数千个小型计算核心，专为大规模并行计算设计。这种架构差异直接决定了它们对存储系统的需求不同。CPU依赖多级缓存（L1/L2/L3）来降低延迟，而GPU则依赖高带宽的显存（VRAM）来支撑海量数据的吞吐。

在深度学习训练中，模型参数、梯度、优化器状态以及中间激活值都驻留在显存中。GPU的计算单元（SM，Streaming Multiprocessor）从显存中读取数据，计算完成后将结果写回。如果显存带宽不足，计算核心将处于“饥饿”状态，等待数据搬运，这就是所谓的带宽瓶颈。理解GPU硬件架构，是掌握显存分配与数据流优化的前提。

显存层次结构：从寄存器到HBM的存储金字塔

GPU的存储系统是一个典型的金字塔结构，从上到下依次为：寄存器（Register）、共享内存（Shared Memory）/L1缓存、L2缓存、以及最底层的显存（HBM/GDDR6）。每一层在容量、带宽和延迟上都有数量级的差异，理解这个层次是优化显存分配的第一步。

1. 寄存器（Register File）

寄存器是GPU中最快、最靠近计算单元的存储，每个SM拥有大量的寄存器（如A100每个SM有64K个32位寄存器）。寄存器由线程独占，生命周期与线程一致。在PyTorch中，一个张量如果足够小且被频繁访问，编译器可能将其优化到寄存器中，但程序员通常无法直接控制。

2. 共享内存（Shared Memory）与L1缓存

共享内存是SM内部的一块可编程高速缓存，同一线程块（Block）内的所有线程可以访问。它的速度接近寄存器，但容量有限（A100最大164KB/SM）。在深度学习推理中，共享内存常用于矩阵分块计算（Tiling），将数据从显存加载到共享内存后反复使用，避免重复访问显存。L1缓存与共享内存在物理上共享同一块SRAM，可通过API配置比例（如cudaFuncAttributePreferredSharedMemoryCarveout）。

3. L2缓存

L2缓存是芯片上所有SM共享的最后一级缓存。A100拥有40MB L2，H100则增至50MB。L2缓存的主要作用是缓存频繁访问的全局数据，并处理跨SM的数据一致性和原子操作。当多个SM需要读取同一份模型参数（如BatchNorm的均值/方差）时，L2能显著减少对显存的访问压力。

4. 显存（HBM/GDDR6）

显存是GPU的主存储，容量最大但速度最慢。NVIDIA A100采用HBM2e，带宽高达2TB/s；消费级RTX 4090则使用GDDR6X，带宽约1TB/s。显存容量决定了模型能否加载，而带宽决定了数据搬运的速度上限。在训练大模型时，显存容量往往比算力更早成为瓶颈。

方法流程：数据在GPU中的搬运路径

一次典型的深度学习前向传播，数据在GPU内部的流动遵循以下路径：

1. Host到Device：CPU将输入数据通过PCIe总线拷贝到GPU显存（cudaMemcpy）。
2. 显存到L2：GPU的SM发起全局内存访问请求，数据先从HBM加载到L2缓存。
3. L2到共享内存：若数据被同一线程块多次使用，程序员通过__shared__声明或使用cudaMemcpyAsync将其显式加载到共享内存。
4. 共享内存到寄存器：计算时，线程从共享内存读取数据到寄存器，执行矩阵乘加运算。
5. 写回路径：计算结果先写入寄存器，再写回共享内存（如需块内聚合），最终通过L2写回显存。

案例/场景：ResNet-50训练中的显存带宽消耗

以ResNet-50在ImageNet上训练为例，输入图像为224×224×3，batch size为256。每一层卷积的输入/输出特征图都需要从显存读取和写入。粗略估算，一次前向+反向传播需要搬运的数据量约为：

前向特征图总量 ≈ 256 × 224 × 224 × 64 × 3（前几层） ≈ 2.4 GB
反向梯度总量 ≈ 前向的 2 倍（需要重算激活值）≈ 4.8 GB
参数与优化器状态 ≈ 25M × 4B × 3 ≈ 300 MB

在A100（2TB/s带宽）上，仅数据搬运就需要约3.6毫秒，而实际计算时间可能只有1毫秒。这说明内存带宽是训练提速的关键瓶颈。使用混合精度训练（FP16）可以将数据搬运量减半，因为FP16张量占用的显存带宽只有FP32的一半。

误区/复盘：常见显存认知错误

复盘清单：GPU显存优化自检表