1. 显存基础认知
GPU显存架构：HBM与GDDR6
做AI训练的朋友，一定绕不开显存这个话题。我刚开始接触大模型训练时，就被各种显存术语搞得头晕——HBM、GDDR6、带宽、容量...说实话，这些概念搞不清楚，后面调优根本无从下手。
先说说两种主流显存：HBM（高带宽显存）和GDDR6（图形双倍数据率显存）。
HBM 是高端显卡的标配。像NVIDIA的A100、H100，用的都是HBM2e或HBM3。它的特点是：
- 通过硅中介层堆叠DRAM芯片，说白了就是立体堆叠
- 位宽极宽——HBM2e可达1024位，HBM3甚至更高
- 带宽恐怖：HBM3单颗就能到819 GB/s
GDDR6 则是消费级显卡的主力。RTX 4090用的就是GDDR6X：
- 传统平面布局，焊在PCB上
- 位宽通常384位或256位
- 带宽也不错，RTX 4090能到1 TB/s左右
我个人习惯把HBM比作「高速电梯群」——很多电梯同时上下，虽然每部电梯速度一般，但胜在数量多。GDDR6则是「几部超高速电梯」——单部速度极快，但数量有限。
核心区别一句话：HBM靠「宽」取胜，GDDR6靠「快」取胜。AI训练场景下，HBM的宽位宽更适合大规模并行数据访问。
显存带宽与容量的关系
带宽和容量，这两个参数经常被混为一谈。我见过不少新手问：「显存越大，训练越快？」——答案是否定的。
带宽决定了数据搬运的速度。公式很简单：
带宽 = 显存频率 × 位宽 ÷ 8举个例子：
| 显卡 | 显存类型 | 位宽 | 频率 | 带宽 |
|---|---|---|---|---|
| A100 | HBM2e | 5120位 | 2.4 GHz | 1.6 TB/s |
| RTX 4090 | GDDR6X | 384位 | 21 Gbps | 1.0 TB/s |
| RTX 3090 | GDDR6X | 384位 | 19.5 Gbps | 936 GB/s |
你看，A100的位宽是RTX 4090的13倍多！这就是HBM的恐怖之处。
容量则决定了你能装下多大的模型。比如一个70B参数的模型，光参数就要140GB（FP16），再加上优化器状态、梯度、激活值...嗯，80GB的A100都装不下，得用多卡。
我的经验：调优时先看带宽是否够用，再看容量是否够装。带宽不足，训练速度上不去；容量不足，模型根本跑不起来。
显存与主存的数据传输机制
这个机制，说白了就是CPU和GPU怎么「聊天」。
流程大概是这样的：
- CPU把数据从主存（DDR）搬到显存
- GPU在显存里做计算
- 结果再搬回主存
这里有个关键点——PCIe总线是瓶颈。PCIe 4.0 x16的理论带宽才32 GB/s，而显存带宽动辄1 TB/s以上。差了30多倍！
我曾经在一个项目中，数据预处理在CPU上做，每次迭代都要把处理好的数据从主存搬到显存。结果发现GPU利用率只有30%多，大部分时间都在等数据。后来改成在GPU上直接做预处理，利用率直接拉到95%以上。
避坑指南：尽量减少CPU和GPU之间的数据搬运。如果非要搬，用异步传输（cudaMemcpyAsync）配合流（Stream）来隐藏延迟。
为什么会这样？因为PCIe的延迟很高，每次传输都有开销。你想想看，如果每次迭代都搬一次数据，那训练时间会翻好几倍。
我建议的做法是：
- 能放显存的数据，尽量放显存
- 必须用CPU处理的，用流水线方式并行
- 用NVIDIA的GDS（GPUDirect Storage）直接访问NVMe SSD，绕过CPU
知识体系总览
下面这张图，是我自己总结的显存知识框架。你看一眼就能明白各概念之间的关系：
我的小建议：刚开始调优时，先用nvidia-smi看看显存带宽利用率和容量占用。这两个指标能告诉你80%的问题所在。
好了，这一讲的内容就到这里。显存架构是后续所有调优的基础，搞懂了HBM和GDDR6的区别、带宽与容量的关系、数据传输的瓶颈，后面讲显存优化策略时你就能理解得更深。