一、显存基础：GPU架构简介、显存类型与带宽、显存与内存的区别、为什么需要优化显存
1.1 GPU架构简介——别把它当CPU用
很多人一上来就问我：“GPU和CPU到底差在哪？”
我习惯这么解释：CPU是“博士”，能处理各种复杂任务，但数量少。GPU是“小学生”，只会简单算术，但数量多——成千上万个一起上。
你想想看，训练一个深度学习模型，本质上是啥？就是大量的矩阵乘法、卷积运算。这些活儿交给“小学生军团”干，效率极高。交给“博士”干，反而浪费。
具体到架构层面，GPU的核心设计理念是：大量计算单元 + 简单控制逻辑。
- SM（Streaming Multiprocessor）：流式多处理器，是GPU的基本计算单元。每个SM里包含几十到几百个CUDA核心。
- CUDA Core：执行浮点运算、整数运算的最小单位。说白了就是那个“小学生”。
- 显存（VRAM）：GPU专用的“黑板”，数据写上去，计算单元才能看到。
- L1/L2 Cache：缓存，减少去显存“搬砖”的次数。
核心认知：GPU不是“更强的CPU”，而是“另一种处理器”。它的强项是并行，弱项是串行。把串行任务扔给GPU，你会哭的。
我在项目中遇到过一位同事，把Python的for循环直接跑在GPU上，结果比CPU还慢。嗯，这就是典型的“用错工具”。
1.2 显存类型与带宽——速度就是生命
显存，全称是“视频随机存取存储器”。但你别被名字骗了，它现在不只是给视频用的。
目前主流的显存类型有几种：
| 类型 | 带宽（GB/s） | 常见于 | 特点 |
|---|---|---|---|
| GDDR6 | 400~600 | RTX 30/40系列 | 主流，性价比高 |
| GDDR6X | 600~1000 | RTX 3090/4090 | 带宽极高，发热大 |
| HBM2/HBM2e | 1000~2000 | A100、V100 | 带宽怪兽，价格感人 |
| HBM3 | 2000+ | H100、B200 | 目前天花板 |
带宽是什么？说白了就是“显存到计算单元之间的高速公路宽度”。
我举个例子：你有一个100GB的模型，显存带宽是500GB/s。那么理论上，把整个模型从显存读到计算单元需要0.2秒。但如果带宽只有100GB/s，那就需要1秒。
你想想看，训练一次迭代就要等1秒，100万次迭代就是100万秒——11天半。这就是为什么带宽如此重要。
避坑指南：我曾经以为显存容量够大就行，带宽无所谓。直到我在RTX 3060（12GB，带宽360GB/s）上跑一个超大batch size的实验，结果发现计算单元一直在“空转等数据”。显存是装得下，但喂不饱计算单元。嗯，从那以后我选卡先看带宽。
1.3 显存与内存的区别——别搞混了
很多人把显存和内存混为一谈，我刚开始学的时候也犯过这个错。
简单来说：
- 内存（RAM）：CPU的“工作台”。程序代码、操作系统、数据都在这里。
- 显存（VRAM）：GPU的“工作台”。模型参数、中间激活值、梯度都在这里。
它们之间通过PCIe总线通信。PCIe 4.0 x16的带宽大约是32GB/s，而显存带宽动辄500GB/s以上。你想想看，差了十几倍。
所以，数据在显存和内存之间来回搬运，是非常昂贵的操作。
警告：千万不要频繁地在CPU和GPU之间拷贝数据。每拷贝一次，就像你从北京开车到上海——费时费力。尽量让数据待在显存里，一次到位。
我记得有一次调试一个模型，发现训练速度极慢。查了半天，原来是代码里每个batch都从内存拷贝数据到显存。改成一口气把整个数据集加载到显存后，速度提升了5倍。
1.4 为什么需要优化显存——钱和时间的博弈
这个问题其实很现实。你想想看：
- 一块A100 80GB，价格接近10万人民币。
- 一块RTX 4090 24GB，价格1.5万左右。
- 一块RTX 3060 12GB，价格2000多。
显存是稀缺资源，而且很贵。优化显存，说白了就是：用更少的钱，跑更大的模型。
具体来说，优化显存能带来三个直接好处：
- 跑更大的模型：同样的硬件，优化后能塞下更大的batch size或更深的网络。
- 更快的训练速度：减少显存瓶颈，计算单元不再空转。
- 降低硬件成本：能用消费级显卡解决的问题，就别上专业卡。
一个真实的例子：我去年帮一家创业公司优化一个LLM微调流程。他们原本用4块A100（每块80GB），总显存320GB。经过梯度检查点、混合精度、显存碎片整理等一系列优化后，同样的模型只需要2块A100就能跑。直接省了20万。
你可能会问：“那我直接买大显存的卡不就行了？”
嗯，理论上可以。但现实是：模型增长的速度远超显存增长的速度。2018年的BERT是3亿参数，2023年的GPT-4是1.8万亿参数。你买得起1.8万亿参数的显存吗？
所以，优化显存不是“可选项”，而是“必选项”。
本章知识体系
下面这张图，是我个人习惯用来梳理显存优化知识体系的。你可以把它当作一张“地图”：
个人建议：学显存优化，别一上来就啃论文。先搞清楚“数据是怎么在GPU里流动的”，然后你自然就知道哪里能省、哪里能砍。我当年就是先画了上面那张图，才真正理解显存优化的全貌。
好了，这一章就到这里。记住一句话：显存不是无限的，但优化是无限的。