2. GPU显存架构详解
显存这东西，说白了就是GPU的「粮仓」。模型再大、算力再强，数据喂不进去，一切都是白扯。我在做分布式训练调优时，踩过最多的坑，就是显存相关的。今天咱们就把HBM和GDDR的区别、带宽容量延迟这些核心概念，一次性讲透。
2.1 HBM vs GDDR：两种主流显存技术
先问个问题：为什么高端GPU都用HBM，消费级显卡却用GDDR？答案很简单——定位不同。
HBM（High Bandwidth Memory）追求的是高带宽、低功耗、小体积。它通过硅中介层（Silicon Interposer）将多个DRAM die堆叠在一起，与GPU核心紧耦合。我最早接触HBM是在NVIDIA的P100上，当时第一反应是：这玩意儿带宽怎么这么高？
GDDR（Graphics Double Data Rate）则更看重容量和成本。它走的是传统PCB走线，频率可以拉得很高，但功耗和延迟也相应增加。你想想看，RTX 4090用GDDR6X，带宽也能到1TB/s以上，但功耗比HBM高出一大截。
核心区别一览：
- 带宽：HBM2E单颗可达460GB/s，GDDR6X单颗约84GB/s。但HBM通过堆叠和宽位宽（1024-bit）实现高带宽，GDDR靠高频（20Gbps+）
- 容量：GDDR单颗可达16Gb（2GB），HBM2E单颗8GB（8-Hi堆叠）。但HBM堆叠层数有限，总容量不如GDDR灵活
- 延迟：HBM延迟略高于GDDR（约10-15%），但带宽优势完全覆盖了这个短板
- 功耗：HBM每瓦带宽约35GB/s，GDDR6X约15GB/s。HBM能效比高出一倍多
- 成本：HBM需要硅中介层和CoWoS封装，成本是GDDR的3-5倍
我在项目中遇到过一件事：某次用A100（HBM2E 80GB）训练大模型，显存占用刚好卡在78GB。换成同等容量的GDDR方案？根本不可能——GDDR要达到80GB，需要40颗2GB颗粒，PCB面积和功耗都扛不住。
2.2 显存带宽、容量与延迟：三个关键指标
这三个指标，我习惯用「水管」来类比：
- 带宽：水管有多粗。决定了每秒能灌多少水
- 容量：水池有多大。决定了能存多少水
- 延迟：水龙头拧开多久水能到。决定了响应速度
对于AI训练，带宽和容量往往比延迟更重要。为什么？因为训练是「批量、连续」的数据流，不是随机小数据访问。你想想看，一次读4MB的权重矩阵，延迟多几个纳秒根本无所谓，但带宽少100GB/s，训练时间直接翻倍。
| 指标 | HBM2E | GDDR6X | 对AI训练的影响 |
|---|---|---|---|
| 带宽 | ~2 TB/s (A100) | ~1 TB/s (RTX 4090) | 带宽越高，训练越快 |
| 容量 | 40-80 GB | 16-24 GB (消费级) | 容量决定模型规模上限 |
| 延迟 | ~150 ns | ~130 ns | 影响小，除非是稀疏访问 |
我的经验：选显存时，先看容量够不够装下模型，再看带宽能不能喂饱计算单元。容量不够，模型跑不了；带宽不够，计算单元饿肚子。延迟？除非你做推理且对时延敏感，否则优先级最低。
2.3 显存层级结构：L1/L2/显存
GPU的显存层级，和CPU的缓存层级很像，但目的不同。CPU缓存是为了降低延迟，GPU缓存是为了提高带宽利用率。
来看一个典型的层级结构（以NVIDIA Ampere架构为例）：
GPU Core (SM)
↓
L1 Cache / Shared Memory (每个SM 128-192 KB)
↓
L2 Cache (整个GPU共享，40 MB)
↓
HBM / GDDR 显存 (40-80 GB)
这里有个关键点：L1和Shared Memory在硬件上是同一块SRAM。你可以通过编译器配置，决定多少给L1用、多少给Shared Memory用。我习惯把Shared Memory配大一些——因为很多算子（比如矩阵乘法）需要频繁的数据复用，Shared Memory比L1更可控。
我曾经踩过的坑：有一次写自定义Kernel，没注意L1和Shared Memory的分配比例，结果Shared Memory不够用，数据频繁溢出到L2，性能直接掉了40%。后来改成动态分配，才把性能拉回来。嗯，这里要注意：L1不是越大越好，要根据算子特性来调。
L2缓存是全局共享的，所有SM都能访问。它的作用主要是过滤显存访问——如果数据在L2命中，就不用走显存，延迟从~150ns降到~50ns。对于某些访存模式（比如卷积的权重复用），L2命中率能到80%以上。
显存（HBM/GDDR）是最后一级，也是容量最大的。但它的带宽虽然高，延迟也最高。所以优化的核心思路就是：尽量让数据在L1/L2里多待一会儿。
2.4 知识体系结构图
下面这张图，把显存架构的核心逻辑串起来了。我建议你保存下来，调优时对照着看：
2.5 实战建议：如何根据场景选显存
说了这么多理论，最后给点实在的：
- 大模型训练（LLM、多模态）：首选HBM。容量大、带宽高，能装下百亿参数模型。我建议至少80GB起步
- 推理部署：GDDR更划算。推理对延迟有一定要求，但GDDR的延迟并不比HBM差太多，成本却低很多
- 科学计算（分子动力学、CFD）：HBM。这类应用对带宽极度敏感，HBM的带宽优势能直接转化为性能
- 图形渲染：GDDR。渲染更看重容量和频率，GDDR的高频率和低成本是优势
一个小技巧：如果你不确定当前场景的显存瓶颈在哪，可以用nvidia-smi看「GPU-Util」和「Memory-Util」。如果GPU-Util低但Memory-Util高，说明是带宽瓶颈；如果GPU-Util高但Memory-Util低，说明计算瓶颈。对症下药，调优才有效果。
好了，这一章的内容就到这里。显存架构是GPU调优的基石，理解透了，后面讲通信协同、算子优化时，你才能知道每一步在干什么。