一、显存基础概念
1.1 什么是显存？
显存，全称是「视频随机存取存储器」。说白了，它就是GPU专用的「工作台」。
你想想看，GPU要处理海量数据，总得有个地方临时放数据吧？CPU那边有内存，GPU这边就是显存。我刚开始接触GPU编程时，总觉得显存就是个「大号缓存」，后来踩了坑才明白——它远比我想象的重要。
显存里存的是什么呢？主要是这几类东西：
- 模型参数：权重、偏置，这些是模型的「记忆」
- 中间激活值：每层计算产生的临时结果
- 梯度数据：反向传播时用的「修正信号」
- 输入输出数据：你喂给模型的batch数据
我在项目中遇到过最典型的场景：一个BERT-large模型，光参数就占了1.2GB，但实际跑起来显存占用飙到8GB。为什么？因为中间激活值才是真正的「显存杀手」。
1.2 显存 vs 内存：到底差在哪？
很多新手会问：「显存和内存不都是存数据吗？」嗯，这个问题问得好。我简单列个对比表：
| 对比维度 | 显存（VRAM） | 内存（RAM） |
|---|---|---|
| 物理位置 | 焊在GPU卡上 | 插在主板上 |
| 带宽 | 极高（HBM2e可达2TB/s） | 较高（DDR5约50GB/s） |
| 延迟 | 极低（纳秒级） | 较低（几十纳秒） |
| 容量 | 较小（通常8-80GB） | 较大（通常16-512GB） |
| 主要用途 | GPU计算数据暂存 | CPU计算数据暂存 |
| ECC纠错 | 部分支持（如A100） | 服务器级支持 |
看到带宽那行没？显存带宽是内存的40倍以上。这就是为什么GPU能并行处理海量数据——数据搬运速度够快。
核心区别一句话总结：内存是CPU的「办公桌」，显存是GPU的「流水线」。CPU的办公桌可以很大，但GPU的流水线必须快。
1.3 显存在GPU计算中的角色
显存在GPU计算中扮演什么角色？我习惯用「三个角色」来理解：
角色一：数据中转站
CPU把数据从硬盘搬到内存，再从内存搬到显存。GPU算完后，结果再原路返回。这个过程中，显存就是「前线仓库」。我曾经优化过一个推荐系统，发现80%的时间花在CPU→GPU的数据搬运上——显存带宽再高，也架不住来回倒腾。
角色二：计算工作台
GPU执行kernel函数时，所有数据必须已经在显存里。你想想看，如果数据还在内存里，GPU只能干等着。这就是为什么显存不够时，程序直接OOM（Out of Memory）崩溃——不是GPU不想干活，是没地方放数据了。
角色三：模型容器
整个深度学习模型，从参数到中间结果，全得塞进显存。我见过最夸张的一次：一个同学用PyTorch训练GPT-2，显存只有16GB，模型参数就占了12GB。他问我为什么跑不起来？我说：「你连放中间激活值的空间都没留，能不炸吗？」
我的经验法则：模型参数占显存的比例，最好控制在30%以下。剩下的70%留给中间激活值、梯度和batch数据。这个比例是我在多个项目中试出来的，虽然不是绝对真理，但能避免大部分OOM问题。
1.4 显存架构速览
现代GPU的显存架构，我画了张图帮你理解：
这张图展示的是现代GPU（比如A100、H100）的典型显存架构。注意看，显存控制器和颗粒是「多通道并行」的——这就是高带宽的秘密。我曾经在压测一个8卡A100集群时，发现显存带宽利用率只有60%，排查了半天，原来是数据在通道间分配不均匀。
避坑指南：我曾经犯过一个低级错误——在压测脚本里用CPU随机生成数据，然后拷贝到显存。结果数据在显存里是「碎片化」的，导致多通道利用率极低。后来改成预分配连续显存块，带宽利用率直接翻倍。
1.5 显存容量与带宽的权衡
做压测时，你一定会遇到这个问题：显存容量和带宽，哪个更重要？
我的答案是：看场景。
- 大模型推理：容量优先。模型参数都放不下，带宽再高也没用。
- 小batch高并发：带宽优先。数据搬运速度决定吞吐量。
- 训练场景：两者都重要。容量不够跑不了大batch，带宽不够训练太慢。
我记得有一次帮一个团队优化推荐模型压测，他们用的是V100（32GB显存）。模型只有2GB，但batch size开到1024后显存爆了。为什么？因为中间激活值占了28GB。后来我们用了梯度累积和混合精度，batch size翻倍，显存反而降了40%。
嗯，这就是显存管理的魅力——不是简单看容量，而是看你怎么用。