一、显存基础与瓶颈分析：显存架构、带宽与容量、训练/推理瓶颈诊断
大家好，我是你们的老朋友。今天咱们来聊聊显存——这个在深度学习里既烧钱又让人头疼的东西。
说实话，我刚开始做模型训练那会儿，对显存的理解就是「越大越好」。直到有一次，我把一张 12GB 的卡跑爆了，才发现事情没那么简单。你想想看，显存到底是怎么工作的？瓶颈到底在哪？今天我就把这些年踩过的坑、总结的经验，一次性讲清楚。
1.1 显存架构：别把它当普通内存
显存，全称是 GPU 显存，它和 CPU 的内存完全是两码事。我习惯把显存想象成一个「高速仓库」——数据要在这里快速存取，供 GPU 核心计算。
显存架构的核心是 HBM（高带宽内存） 和 GDDR（图形双倍数据率） 两大流派。HBM 常见于高端计算卡（如 A100、H100），GDDR 则多见于消费级显卡（如 RTX 3090）。
关键区别：
- HBM：带宽极高（可达 2TB/s+），但容量相对小，成本高。适合大规模并行计算。
- GDDR：带宽适中（500GB/s-1TB/s），容量大，性价比高。适合推理和中小规模训练。
我在项目中遇到过一个问题：用 RTX 3090 跑一个 7B 模型，显存 24GB 明明够，但训练速度就是上不去。后来一查，原来是 GDDR6X 的带宽瓶颈——数据搬运速度跟不上计算速度。说白了，就是「仓库的传送带太窄了」。
1.2 带宽与容量：两个不同的瓶颈
很多人把显存容量和带宽混为一谈。其实它们是两个完全不同的维度。
| 维度 | 含义 | 典型瓶颈表现 |
|---|---|---|
| 容量 | 显存能装多少数据 | OOM（显存溢出）、batch size 上不去 |
| 带宽 | 数据搬运的速度 | GPU 利用率低、训练速度慢 |
我举个例子。你有一个 10GB 的模型，显存 24GB，容量绰绰有余。但如果你用很小的 batch size，带宽可能成为瓶颈——GPU 核心在等数据，利用率只有 30%。
我的经验： 判断瓶颈很简单——看 GPU 利用率。如果利用率 > 90%，说明计算是瓶颈；如果利用率 < 50%，大概率是带宽或数据加载的问题。
为什么会这样？因为现代 GPU 计算速度极快，但显存带宽的增长速度跟不上。你想想看，A100 的计算能力是 312 TFLOPS，但显存带宽只有 2 TB/s。如果数据量太大，搬运时间就会吃掉计算时间。
1.3 训练瓶颈诊断：从现象到根因
训练时最常见的瓶颈有三种。我一个个说。
1.3.1 显存容量不足
表现：程序直接报 OOM，或者 batch size 只能设 1。
原因：模型参数、梯度、优化器状态、中间激活值，全挤在显存里。
我曾经在训练一个 13B 模型时，batch size 设为 4 就 OOM。后来发现是激活值占了大头——一个 batch 的激活值能吃掉 8GB 显存。
1.3.2 带宽瓶颈
表现：GPU 利用率低（< 50%），但显存没满。
原因：数据搬运速度跟不上计算速度。常见于大模型 + 小 batch size 的场景。
嗯，这里要注意：带宽瓶颈在推理时更常见。因为推理时 batch size 通常很小，计算量不大，但模型参数需要频繁从显存读取。
1.3.3 计算瓶颈
表现：GPU 利用率 > 95%，但训练速度还是慢。
原因：模型太大，计算量太大。这时候只能换更强的卡，或者用模型并行。
避坑指南： 我曾经以为 GPU 利用率高就是好事。后来发现，如果利用率高但速度慢，说明计算是瓶颈——这时候加 batch size 反而会降低速度。正确做法是检查计算量和显存带宽的匹配度。
1.4 推理瓶颈诊断：延迟与吞吐的博弈
推理和训练不一样。训练看重吞吐（每秒处理多少样本），推理更看重延迟（单个请求多快返回）。
推理瓶颈通常分两类：
- 显存带宽瓶颈：模型参数大，每次推理都要从显存读一遍。比如 70B 模型，参数占 140GB，每次推理都要搬 140GB 数据。带宽不够，延迟就高。
- 计算瓶颈：模型计算量大，比如大模型的 attention 计算。这时候需要优化算子或使用更高效的架构。
我习惯用 roofline 模型 来分析。简单说，就是看你的操作是「计算密集」还是「访存密集」。如果是访存密集，优化方向是减少数据搬运；如果是计算密集，优化方向是加速计算。
实操建议：
- 训练时：先看显存容量，再看带宽。容量不够用梯度检查点或混合精度；带宽不够用更大的 batch size 或数据并行。
- 推理时：先看延迟要求。延迟敏感用更小的模型或量化；吞吐敏感用更大的 batch size 或连续批处理。
1.5 知识体系总览
下面这张图是我自己画的，把显存相关的核心概念串起来了。你看一眼就能明白整个知识框架。
这张图把训练和推理的优化方向分开了。你仔细看，训练侧更关注容量和带宽，推理侧更关注延迟和访存。但不管哪边，第一步都是诊断——搞清楚瓶颈在哪，再动手优化。
一个小技巧： 我习惯用 nvidia-smi 看显存占用，用 nsys profile 看带宽利用率。两个工具配合，基本能定位 90% 的显存问题。
好了，这一章就到这里。显存基础是后面所有优化策略的基石。你把这些概念吃透了，后面讲梯度检查点、混合精度、模型并行的时候，理解起来会轻松很多。
想要更多资料，联系可可