显存基础：从硬件到实战
大家好，我是你们这门课的老朋友。今天咱们聊聊显存，这个深度学习里最金贵的东西。
说实话，我刚开始做模型训练那会儿，对显存的理解就是“越大越好”。后来被坑了几次，才明白这里面门道多着呢。你想想看，一张A100 80G的卡，跑个LLaMA-65B照样爆显存，问题出在哪？
嗯，咱们一步步拆解。
什么是显存？
显存，全称是“视频随机存取存储器”（VRAM）。说白了，它就是显卡上专门用来存数据的内存条。
在深度学习里，显存里存的是啥？
- 模型参数（权重、偏置）
- 优化器状态（比如Adam的动量、方差）
- 中间激活值（前向传播时每层的输出）
- 梯度（反向传播时计算的）
- 输入数据（图片、文本、音频）
我习惯把显存想象成一个“临时工作台”。你模型越大、数据越多，这个工作台就得越大。一旦放不下，程序就崩了——OOM（Out of Memory）错误。
核心观点：显存不是用来“存”的，是用来“算”的。它必须同时容纳数据和计算中间结果。
显存 vs 内存：到底差在哪？
很多人问我：“显存和内存不都是存东西的吗？为啥不能混用？”
这个问题问得好。我列个表，你一看就明白。
| 对比维度 | 显存（VRAM） | 内存（RAM） |
|---|---|---|
| 物理位置 | 焊在显卡上 | 插在主板上 |
| 访问速度 | 极高（HBM2e可达2TB/s） | 较高（DDR5约50GB/s） |
| 容量 | 小（8GB~80GB） | 大（16GB~2TB） |
| 主要用途 | GPU计算数据暂存 | CPU程序运行 |
| 带宽瓶颈 | 显存带宽（核心瓶颈） | 内存带宽（次要瓶颈） |
你看，显存最大的优势是带宽。GPU一次要处理成千上万个线程，数据吞吐量巨大。内存那点带宽，根本喂不饱GPU。
我曾经试过把模型参数放在内存里，让GPU实时从内存读数据。结果呢？训练速度直接掉到原来的十分之一。GPU大部分时间都在等数据，这叫“内存墙”。
避坑指南：千万不要试图用内存来“扩展”显存。PyTorch的`pin_memory`只是加速CPU到GPU的传输，不是让你把模型放内存里跑。
GPU架构简介：显存是怎么工作的？
要理解显存优化，你得先知道GPU内部怎么干活。我画个图帮你理清思路。
这张图展示了GPU内部的数据流动路径。你看，数据从显存出发，经过L2缓存，再到芯片内部的共享内存和寄存器，最后才被CUDA核心处理。
这里有个关键点：显存到GPU芯片的带宽，是整个系统的瓶颈。L2缓存和共享内存虽然快，但容量太小。大部分数据还是得从显存里读。
我记得有一次调优一个Transformer模型，发现训练速度上不去。用NVIDIA Nsight一分析，发现GPU计算单元大部分时间都在“空转”，等数据从显存传过来。这就是典型的“带宽受限”场景。
小技巧：用`nvidia-smi`查看显存带宽利用率。如果持续超过80%，说明你的模型是带宽瓶颈型，优化方向应该是减少数据搬运，而不是增加计算量。
显存带宽与容量：哪个更重要？
这个问题，我经常被问到。我的回答是：看场景。
咱们先搞清楚这两个概念：
- 显存容量：能装多少数据。单位是GB。
- 显存带宽：每秒能读写多少数据。单位是GB/s。
举个例子。你有一辆卡车（容量）和一条高速公路（带宽）。
- 如果货物很多但路很窄（容量大、带宽小），你得来回跑很多趟，速度慢。
- 如果货物很少但路很宽（容量小、带宽大），一趟就拉完了，但装不下大件。
在深度学习里：
- 大模型训练（比如LLaMA-70B）：容量更重要。模型参数+优化器状态+激活值，动不动就上百GB。容量不够，根本跑不起来。
- 小模型高吞吐（比如ResNet-50做图像分类）：带宽更重要。模型小，但数据量大，每秒要处理几千张图片。带宽不够，GPU就在等数据。
我个人的经验是：先保证容量够用，再追求高带宽。容量不够，模型都加载不进去，带宽再高也没用。但如果你做推理服务，带宽往往比容量更关键。
实战建议：
- 训练大模型：优先选容量大的卡（如A100 80G、H100 80G）
- 推理小模型：优先选带宽高的卡（如RTX 4090，带宽约1TB/s）
- 两者兼顾：H100/B200系列，容量和带宽都顶级
显存带宽的计算公式
这个公式很简单，但很多人记不住：
显存带宽 = 显存频率 × 显存位宽 × 2（DDR双倍速率）举个例子：
- RTX 4090：显存频率21Gbps，位宽384-bit
- 带宽 = 21 × 384 / 8 × 2 = 2016 GB/s ≈ 2TB/s
注意单位换算：位宽是bit，要除以8变成Byte。
嗯，这里有个坑。很多显卡标称的“理论带宽”和实际能跑到的带宽有差距。我实测过，RTX 4090实际带宽大概在1.7~1.8TB/s左右，因为还有协议开销。
注意：不要只看理论带宽。实际应用中，内存访问模式（连续 vs 随机）、数据对齐、PCIe版本都会影响有效带宽。我曾经因为数据没对齐，带宽利用率掉了30%。
小结：显存优化的起点
好了，咱们把显存的基础知识捋了一遍。总结几个关键点：
- 显存是GPU的“临时工作台”，容量和带宽都重要
- 显存比内存快得多，但容量小得多，不能混用
- GPU内部有层级结构，数据从显存到核心要经过多级缓存
- 大模型看容量，小模型看带宽
这些概念，是后面所有优化技术的基础。你想想看，如果你连显存里存了啥、数据怎么流动都不知道，怎么去优化？
下一节，咱们会深入讲“显存分配与释放”，看看PyTorch到底是怎么管理显存的。到时候我会分享一个我踩过的坑——因为显存碎片化，导致明明还有空间却报OOM。嗯，那故事挺有意思的。
想要更多资料，联系可可