1、显存基础：什么是显存？显存与内存的区别，为什么大模型训练容易OOM？
大家好，我是你们的老朋友。今天咱们来聊聊显存——这个让无数大模型训练者又爱又恨的东西。
说实话，我刚开始接触大模型训练那会儿，也被OOM折磨得够呛。有一次跑一个70B的模型，刚点下运行按钮，屏幕上就弹出血红的"CUDA out of memory"。嗯，那种感觉，就像你刚坐上过山车，结果发现安全带没系好。
什么是显存？
显存，全称是显卡内存（GPU Memory）。你可以把它想象成显卡的"工作台"。显卡要处理数据，就得先把数据搬到这个工作台上。
我习惯用一个比喻来解释：
- 内存 = 你的书桌抽屉，能放很多东西，但拿取速度慢
- 显存 = 你手边的桌面，空间有限，但随手就能拿到
显卡在工作时，需要频繁读写数据。如果数据在内存里，每次都要通过PCIe总线搬运，速度会慢得让人抓狂。所以，显存就是给显卡准备的"高速缓存区"。
核心要点：显存是GPU直接访问的专用内存，用于存储模型参数、梯度、优化器状态以及中间激活值。
显存 vs 内存：到底差在哪？
你可能会问：都是存储，显存和内存有啥区别？
区别大了去了。我整理了一个表格，一目了然：
| 对比维度 | 显存（GPU Memory） | 内存（RAM） |
|---|---|---|
| 物理位置 | 集成在显卡上 | 插在主板上 |
| 访问速度 | 极高（HBM2e可达2TB/s） | 较高（DDR5约50GB/s） |
| 容量 | 较小（常见8GB~80GB） | 较大（常见16GB~512GB） |
| 用途 | GPU计算专用 | CPU通用存储 |
| 价格 | 昂贵（约10倍于内存） | 相对便宜 |
| 带宽 | 极高（HBM堆叠技术） | 中等（传统总线架构） |
说白了，显存就是为"暴力计算"而生的。它牺牲了容量，换来了极致的速度。我在项目中遇到过一位同学，想用CPU内存来"扩展"显存，结果训练速度直接掉了两个数量级——这就是没搞清楚两者的本质区别。
为什么大模型训练容易OOM？
好，重头戏来了。为什么大模型一跑就OOM？
你想想看，一个70B参数的模型，光参数就要占多少显存？
我们来算一笔账：
- 每个参数用FP32（4字节）存储：70B × 4B = 280GB
- 就算用FP16（2字节）：70B × 2B = 140GB
而一块A100的显存才80GB。光参数就装不下，更别提还有梯度、优化器状态和中间激活值了。
我给大家拆解一下，训练时显存到底被谁吃了：
- 模型参数：权重矩阵，占大头
- 梯度：反向传播时计算，和参数大小相同
- 优化器状态：比如Adam需要维护一阶动量和二阶动量，每个参数额外占8字节（FP32）
- 中间激活值：前向传播时每层的输出，这个最容易被忽略
避坑指南：我曾经在训练一个13B模型时，明明算好了参数只占26GB（FP16），结果一跑就OOM。排查了半天才发现，中间激活值吃了将近40GB！很多人只算参数，不算激活值，这是最常见的OOM原因之一。
为什么会这样？因为大模型通常有很深的网络层数。每一层都要保存激活值用于反向传播。层数越深，batch size越大，激活值就越恐怖。
举个例子：一个70B的LLaMA模型，如果序列长度是2048，batch size是1，光激活值就能吃掉30GB以上。你想想看，如果batch size调到4呢？直接120GB没了。
显存分配的实际案例
咱们用代码来看看，一个典型的训练循环里显存是怎么分配的：
# 伪代码：显存分配示意
model = LLama70B() # 参数：140GB (FP16)
optimizer = Adam(model.parameters()) # 优化器状态：280GB (FP32动量和方差)
for batch in dataloader:
# 前向传播：保存激活值 ~30GB (batch_size=1, seq_len=2048)
outputs = model(batch)
# 反向传播：计算梯度 ~140GB
loss.backward()
# 参数更新：需要额外临时空间 ~10GB
optimizer.step()
# 总显存需求：140 + 280 + 30 + 140 + 10 = 600GB
# 而A100只有80GB，不OOM才怪！
看到没？一个70B模型，理论显存需求高达600GB。这就是为什么单卡根本跑不动，必须用分布式训练、梯度检查点、混合精度等各种优化手段。
我的经验：刚开始做大模型训练时，我建议你先用这个公式估算显存：
总显存 ≈ 参数 × (2 + 2 + 8) + 激活值 × 层数 × batch_size × seq_len
其中2是FP16参数，2是FP16梯度，8是FP32优化器状态。激活值那块，不同模型差异很大，最好实际跑一下看看。
显存不足的连锁反应
OOM不只是报个错那么简单。它会导致：
- 训练中断，浪费之前的时间
- 被迫减小batch size，影响收敛效果
- 无法使用更大的模型，限制研究空间
- 频繁调试，降低开发效率
我记得有一次，团队跑了一个星期的训练，结果在第6天OOM了。检查发现是数据预处理时有个缓存没清理，导致显存被慢慢吃光。那种感觉，真的想砸电脑。
知识体系总览
下面这张图，是我自己总结的显存知识体系。你可以把它当作整个课程的地图：
这张图把显存优化的核心内容分成了五大块。咱们这门课会逐一深入讲解。今天这一章，主要就是左上角那块——打好基础，搞清楚显存到底是什么，为什么它这么容易爆。
嗯，基础打牢了，后面讲优化技巧你才能理解为什么这么做。不然你光知道用梯度检查点，不知道为什么它能省显存，遇到问题还是不会调。
好了，这一章就到这里。记住一句话：显存不是无限的，但优化是无限的。咱们下一章见。