2、显存基础概念：GPU显存架构简介、显存带宽与容量、显存与系统内存的区别

聊显存溢出之前，咱们得先把显存这玩意儿搞清楚。我见过不少同学，一报错就慌，其实说白了，很多问题都是对显存的基本认知不够。今天我就带你把这层窗户纸捅破。

GPU显存，全名叫Graphics Double Data Rate，简称GDDR。嗯，别被名字吓到，它本质上就是一块专门给GPU用的高速内存。

我习惯把显存架构理解成一个「三层仓库」：

第一层：全局显存（Global Memory）——最大的仓库，所有数据都放这儿。但速度最慢，延迟大概400-800个时钟周期。
第二层：共享显存（Shared Memory）——每个线程块内部的小仓库，速度极快，延迟只有几十个周期。我在项目中经常用它来缓存重复访问的数据，效果立竿见影。
第三层：寄存器（Registers）——每个线程的私人小抽屉，零延迟。但数量有限，一个线程一般就几十个。

核心要点：显存溢出的根源，往往是你把太多东西塞进了「全局显存」这个最大的仓库，而忽略了其他两层。

为什么会这样？因为很多人写代码时，习惯把所有张量都放在全局显存里。你想想看，一个batch size 32的ResNet-50，光中间激活值就能吃掉好几GB。我曾经接手过一个项目，训练一个8K分辨率的GAN，显存直接爆了——后来发现是中间特征图没及时释放。

这两个概念经常被混淆，我简单给你捋一捋。

显存容量——就是你能装多少数据。好比你的硬盘，1TB就是1TB。现在的消费级显卡，RTX 4090是24GB，A100是80GB。嗯，听起来挺大，但训练一个大模型，分分钟就吃满了。

显存带宽——是数据搬运的速度。单位是GB/s。这个指标其实比容量更关键。为什么？因为GPU计算速度极快，如果数据搬不过来，计算单元就得干等着。这叫「内存墙」问题。

我的经验：带宽决定了你能跑多快，容量决定了你能跑多大。两者缺一不可。我曾经在项目里为了省显存，把batch size从64降到8，结果训练时间翻了3倍——因为带宽利用率太低了。

来看看主流显卡的带宽数据：

看到没？H100的带宽是RTX 4090的3倍多。这就是为什么企业愿意花大价钱买H100——不是容量大多少，而是带宽翻倍了。

避坑指南：我曾经犯过一个错误——只看容量不看带宽。买了一张24GB的卡，结果带宽只有400GB/s，训练速度还不如别人16GB的卡。所以选卡时，带宽和容量要一起看。

这个问题我问过很多学员，十个有八个答不上来。其实区别就三点：

物理位置不同——系统内存在主板上，通过内存插槽连接CPU。显存在显卡上，紧挨着GPU核心。距离近，速度自然快。
访问方式不同——CPU访问系统内存，走的是内存控制器。GPU访问显存，走的是显存控制器。GPU的显存控制器是专门为并行计算优化的，一次能处理大量数据。
延迟差异巨大——系统内存延迟大概几十纳秒，显存延迟几百纳秒。但显存的带宽是系统内存的10倍以上。说白了，显存是「慢但能扛」——每次访问慢一点，但一次能搬很多数据。

你想想看，为什么训练深度学习模型时，数据要先从硬盘加载到系统内存，再从系统内存拷贝到显存？因为GPU不能直接访问硬盘，也不能直接访问系统内存。嗯，虽然现在有Unified Memory技术，但性能损失很大，我一般不推荐在生产环境用。

关键区别总结：

我记得有一次优化一个推荐系统模型，发现数据从系统内存拷贝到显存占了30%的时间。后来用了异步数据加载和预取技术，才把这块时间压下去。所以，理解这个区别，能帮你找到很多优化点。

实用建议：如果你的模型显存放不下，别急着换卡。先看看能不能用混合精度训练、梯度检查点、或者模型并行。这些技巧能让你在现有硬件上跑更大的模型。我后面会详细讲。

好了，显存的基础概念就这些。记住：容量决定你能不能跑，带宽决定你跑得快不快，架构决定你怎么优化。下一节我们聊聊怎么用工具监控显存使用情况——嗯，这才是实战的开始。