1. 课程导入与显存认知

在开始学习GPU显存管理与数据传输优化之前，我们需要先建立一个清晰的"存储地图"：GPU并不是一块算得很快的芯片加上一块随便放数据的显存，而是一套由寄存器、共享内存、L1/L2缓存和全局显存构成的多级存储体系。程序性能的高低，往往取决于数据是否"待在了正确的那一层"。本节将围绕显存层次结构、与主机内存的差异、带宽与延迟指标，以及典型性能瓶颈展开，为后续的传输优化与访存优化打下基础。

一、GPU显存层次结构：从寄存器到全局显存

以NVIDIA GPU的典型架构为例，存储层次从快到慢、从小到大依次为：寄存器（Register）、共享内存/一级缓存（Shared Memory / L1 Cache）、二级缓存（L2 Cache）、全局显存（Global Memory，即通常所说的显存，如GDDR6/HBM）。此外还有常量内存、纹理内存等专用空间，它们本质上依托于上述层次实现。

各层的关键特征差异很大：寄存器位于SM（流式多处理器）内部，容量极小（每个线程几十到两百多个32位寄存器），但访问延迟最低，通常在一个时钟周期量级；共享内存由同一线程块内的线程共享，容量约几十到一百多KB，延迟约为几十个时钟周期，是线程间协作和复用数据的关键；L1缓存与共享内存共享同一块物理空间，可按需划分；L2缓存为全GPU共享，容量在几MB到几十MB，负责汇聚和缓存对全局显存的访问；全局显存容量最大（数GB到数十GB），但延迟最高，通常在数百个时钟周期量级。

理解这一结构的关键在于：越靠近计算单元的存储越快越小，越远的存储越慢越大。因此优化的核心思路是"让数据尽量在靠近计算单元的地方被多次复用"，而不是反复往返于全局显存。

二、GPU显存与主机内存的差异

很多初学者会把显存当成"插在显卡上的内存"，这个类比方向没错，但两者的设计目标截然不同。主机内存（DDR）追求大容量、通用性和较低成本，CPU通过多级缓存和乱序执行来容忍延迟；而显存（GDDR/HBM）追求极高的并行带宽，通过大量宽位宽通道同时服务成千上万个线程。这带来几个实际差异：

• 物理隔离：显存与主机内存是两块独立的物理存储，CPU不能直接解引用显存指针，GPU也不能直接访问普通主机内存（除统一虚拟地址下的受控访问外）。数据必须显式或隐式地"搬过去"。
• 访问模型不同：CPU擅长少量线程的复杂控制流和随机访问；GPU依赖海量线程同时发起访存，用并行度隐藏延迟。因此"单次访问快不快"对GPU不是第一位的，"同时能发多少访问、是否合并"才是。
• 一致性代价：跨PCIe/NVLink的数据传输是整条链路中最慢的环节之一，且需要同步。频繁的小块传输会带来显著的启动开销。

由此可以得出一个重要的工程直觉：主机与GPU之间的数据搬运，往往是整条流水线中最容易被低估的成本。一个计算只需几毫秒的核函数，如果前后各配一次几十MB的传输，端到端时间可能翻倍。

三、带宽与延迟：两个必须分开看的指标

带宽（Bandwidth）指单位时间内能搬运的数据量，单位通常是GB/s或TB/s；延迟（Latency）指一次访问从发出到拿到数据所需的时间。二者不是一回事：显存带宽很高，但单次访问延迟仍有数百个时钟周期。GPU的应对策略是"用并行隐藏延迟"——当某个线程等待数据时，调度器切换到其他就绪线程继续发射指令。因此，如果一个核函数的并行度不足（例如线程数太少、或存在大量串行依赖），即使带宽充裕，也会因延迟无法被隐藏而表现不佳。

一个常用的估算示例（示例参数，仅用于说明方法）：假设某次传输的数据量为256MB，链路有效带宽约为12GB/s，则理论传输时间约为 256MB ÷ 12GB/s ≈ 21.3ms。若该传输被拆成1000次小块传输，每次额外引入约10μs的启动与同步开销，则额外开销约10ms，接近理论传输时间的一半。这说明批量合并传输往往比"边算边传"更划算，除非能与计算形成有效的流水重叠。

四、典型应用场景与性能瓶颈分析

在深度学习训练、科学计算、图像与视频处理、实时推理等场景中，显存与传输问题表现各异。训练场景常见瓶颈是显存容量不足导致无法增大batch size，以及梯度同步带来的通信开销；推理场景更关注延迟，常因频繁的小批量数据传输而受限；图像处理则容易遇到访存不合并（strided access）导致的带宽浪费。

分析瓶颈时，建议按以下顺序排查：第一，看端到端时间中传输与计算各占多少，若传输占比高，优先考虑合并传输、使用页锁定内存、异步拷贝与流水重叠；第二，看核函数是否受限于全局显存带宽，可通过对比实际带宽与理论带宽的比值判断；第三，看是否存在访存不合并、共享内存bank冲突等具体问题；第四，再考虑算法层面的数据复用与分块（tiling）。