一、显存基础与瓶颈分析

大家好，我是你们的GPU优化讲师。今天咱们聊聊显存——这个在深度学习里既熟悉又让人头疼的东西。

说实话，我刚开始做模型训练那会儿，对显存的理解就是“越大越好”。直到有一次，我花了两周调好的模型，一跑就OOM（Out of Memory），当时真是欲哭无泪。后来我才明白，不懂显存架构，就像开车不看油表——迟早要抛锚。

1.1 GPU显存架构：从芯片到带宽

先说说显存长什么样。你想想看，GPU要处理海量数据，数据得有个地方暂存。这个“暂存区”就是显存（VRAM）。

目前主流的显存类型是GDDR6和HBM（高带宽内存）。GDDR6常见于消费级显卡（比如RTX 3090），HBM则多用于数据中心卡（比如A100、H100）。

我个人习惯把显存架构理解成“仓库+传送带”模型：

• 显存容量：仓库能放多少货（模型参数、激活值、梯度）
• 显存带宽：传送带每秒能运多少货（数据搬运速度）
• 显存延迟：从仓库取货需要等多久（访问延迟）

这里有个关键点：带宽往往比容量更致命。我在项目中遇到过，明明显存还有剩余，但训练速度就是上不去。一查，原来是带宽打满了，GPU计算单元在“等数据”。

1.2 显存带宽与容量：你该关注哪个？

咱们用表格对比一下常见GPU的显存参数：

GPU型号	显存容量	显存带宽	显存类型
RTX 3090	24 GB	936 GB/s	GDDR6X
A100 (80GB)	80 GB	2039 GB/s	HBM2e
H100	80 GB	3352 GB/s	HBM3
RTX 4090	24 GB	1008 GB/s	GDDR6X

你看，A100的带宽是3090的两倍多。这意味着什么？同样大小的模型，A100搬运数据的速度快一倍。嗯，这里要注意：带宽决定了你能多快地把数据喂给计算单元。

我曾经踩过一个坑：用RTX 3090训练一个超大batch的模型，显存刚好够，但训练速度慢得像蜗牛。后来用nsys一分析，发现计算单元大部分时间都在空转，等数据从显存搬过来。说白了，就是带宽不够用。

1.3 显存溢出常见场景：这些坑你迟早会遇到

显存溢出（OOM）是每个炼丹师的噩梦。我总结了几种常见场景：

1. Batch size 太大：这是最直接的原因。每个样本的激活值、梯度都要占显存。
2. 模型太大：比如LLaMA-65B，光参数就要130GB（FP16），单卡根本放不下。
3. 序列长度太长：Transformer的显存占用是O(L²)，序列长度翻倍，显存占用翻四倍。
4. 中间激活值爆炸：训练时保存的中间结果，有时比模型本身还大。
5. 多进程共享显存：多个训练任务同时跑，互相抢显存。

我记得有一次，一个同事跑BERT训练，batch size设了64，结果OOM。他调成32，还是OOM。最后发现是序列长度设成了5120——比默认的512大了10倍，显存占用直接翻了100倍。这就是典型的“序列长度陷阱”。

1.4 性能分析工具：NVIDIA-SMI 与 nsys

光靠猜可不行，得用工具说话。我平时最常用的两个工具：

1.4.1 NVIDIA-SMI：快速查看显存状态

这个命令大家应该不陌生：

nvidia-smi

它会显示：

• GPU利用率（%）
• 显存使用量（MiB）
• 温度、功耗等

但说实话，nvidia-smi只能看个大概。它告诉你显存用了多少，但没告诉你谁在用、怎么用的。我一般用它做快速排查：

# 每1秒刷新一次
watch -n 1 nvidia-smi

如果发现显存占用突然飙升，那就得用更精细的工具了。

1.4.2 nsys：深入分析显存行为

nsys（NVIDIA Nsight Systems）是我的主力工具。它能告诉你：

• 每个kernel的显存分配和释放
• 数据搬运的带宽利用率
• 计算和通信的重叠情况

基本用法：

nsys profile -o my_profile python train.py

然后打开生成的.nsys-rep文件，就能看到时间线了。我习惯重点关注两个指标：

• 显存分配峰值：看有没有瞬间分配大量显存的操作
• 带宽利用率：如果低于50%，说明数据搬运效率低

举个例子，我曾经用nsys分析一个模型，发现有个操作反复分配和释放显存，导致大量碎片。优化后，显存占用降低了15%。

知识体系总览

下面这张图概括了本章的核心逻辑：

嗯，这张图把本章的知识点串起来了。从显存架构出发，理解带宽和容量的关系，再识别常见的溢出场景，最后用工具定位问题。说白了，就是一套“诊断-分析-优化”的流程。

好了，显存基础就聊到这儿。记住一句话：不懂显存，就别谈优化。下一章咱们会深入讲显存分配策略，到时候见。