一、显存基础：显存是什么、显存与内存的区别、显存在深度学习中的作用
大家好，我是你们的老朋友。今天咱们聊聊显存——这个在深度学习里天天打交道，却又经常被忽视的东西。
说实话，我刚开始做深度学习那会儿，对显存的理解也就停留在「显存越大越好」这个层面。直到有一次，我跑一个BERT-large模型，明明显存还有几个G，结果训练到一半直接OOM了。嗯，从那以后我才开始认真研究显存到底是怎么回事。
1.1 显存到底是什么？
显存，全称是「显存存储器」，也叫VRAM（Video Random Access Memory）。说白了，它就是显卡上专门用来存数据的内存条。
你想想看，显卡要处理图像、渲染3D场景，数据量巨大。如果每次都要去内存里拿数据，那速度根本跟不上。所以显卡自己带了一块高速缓存，这就是显存。
在深度学习里，显存的作用更直接：它负责存储模型参数、梯度、优化器状态、中间激活值，还有输入数据。我习惯把显存想象成一个「临时工作台」——你放上去的东西越多，工作台就得越大。
核心要点：显存是GPU的专属内存，专门为高吞吐、并行计算设计。它的带宽极高，但容量相对有限。
1.2 显存 vs 内存：到底差在哪？
很多新手会问：显存和内存不都是存东西的吗？有什么区别？
区别大了去了。我列个表，你一看就明白：
| 对比维度 | 显存（VRAM） | 内存（RAM） |
|---|---|---|
| 物理位置 | 焊在显卡PCB上 | 插在主板上 |
| 访问主体 | GPU核心 | CPU核心 |
| 带宽 | 极高（如HBM2e可达1.6TB/s） | 较高（DDR5约50GB/s） |
| 容量 | 较小（常见8~80GB） | 较大（常见16~512GB） |
| 延迟 | 较低 | 较高 |
| 功耗 | 较高 | 较低 |
| 主要用途 | 图形渲染、深度学习计算 | 操作系统、应用程序运行 |
为什么会这样？因为GPU需要同时处理成千上万个线程，每个线程都要快速读写数据。显存的高带宽就是为了满足这种「并发读写」的需求。
我记得有一次，我在一台只有16GB内存的机器上跑一个7B模型。按理说模型参数就14GB了，内存肯定不够。但因为我用了GPU，模型参数直接加载到显存里，内存只负责调度和预处理数据，居然跑起来了。这就是显存和内存分工协作的典型场景。
小技巧：如果你发现训练时内存占用很高，但显存还有余量，可以试试把数据预处理和缓存放到内存里，别让它们占着显存。我习惯用torch.utils.data.DataLoader的pin_memory=True参数，能有效减少显存压力。
1.3 显存在深度学习中的作用
深度学习里，显存到底在忙什么？我把它拆成四个角色：
1.3.1 模型参数的「家」
模型训练的第一步，就是把参数加载到显存里。一个7B参数的模型，如果用FP16存储，光参数就要占14GB显存。这还没算梯度和优化器状态。
1.3.2 中间激活值的「临时仓库」
前向传播时，每一层的输出（激活值）都要暂存在显存里，等反向传播时再用。这部分显存消耗往往比参数还大。我做过一个实验：一个ResNet-50，参数只占100MB，但激活值能吃掉2GB显存。
1.3.3 梯度的「中转站」
反向传播时，梯度会先存在显存里，等优化器更新完参数再释放。如果你用Adam优化器，它还会额外存一份动量项和方差项，显存消耗直接翻倍。
1.3.4 数据的「缓冲区」
训练数据（图像、文本等）也要先加载到显存，才能被GPU处理。batch size越大，这个缓冲区就越大。
避坑指南：我曾经犯过一个错误——把整个数据集都加载到显存里，结果显存直接爆了。后来才意识到，数据应该用DataLoader分批加载，而不是一次性全塞进去。记住：显存不是用来存数据的，是用来算数据的。
1.4 一张图看懂显存知识体系
下面这张图，是我自己总结的显存知识框架。你可以把它当成一个「显存地图」，后面每讲一个技巧，都能在这张图上找到对应的位置。
1.5 一个简单的显存计算示例
光说不练假把式。咱们来算一笔账：
假设你要训练一个BERT-base模型：
- 参数量：110M
- 精度：FP16（每个参数2字节）
- batch size：32
- 序列长度：512
- 隐藏层维度：768
显存消耗估算：
模型参数：110M × 2B = 220MB
梯度：110M × 2B = 220MB
优化器状态（Adam）：110M × 2B × 2 = 440MB
中间激活值：32 × 512 × 768 × 12层 × 2B ≈ 300MB
输入数据：32 × 512 × 2B ≈ 32KB
总计 ≈ 220 + 220 + 440 + 300 + 0.03 ≈ 1.18GB你看，一个看起来不大的模型，实际显存消耗轻松超过1GB。这还是没算上框架开销和临时变量的结果。
我的习惯：每次开始一个新项目，我都会先用这个公式估算一下显存需求。如果发现显存不够，就提前想好优化策略——比如用梯度累积、混合精度，或者换个小模型。别等到训练到一半才手忙脚乱。
好了，这一章就到这里。显存的基础概念搞清楚了，后面咱们才能聊优化技巧。记住一句话：显存是深度学习的「硬通货」——理解它，才能用好它。