一、显存溢出初探：什么是CUDA显存溢出？常见报错信息解读
大家好，我是你们的老朋友。今天咱们来聊聊CUDA开发中最让人头疼的问题之一——显存溢出。
说实话，我刚开始做深度学习那会儿，最怕看到的就是终端里突然冒出一行红色报错。尤其是训练跑了大半天，突然来个OOM，那感觉，嗯，懂的都懂。
什么是CUDA显存溢出？
显存溢出，说白了就是你的GPU显存不够用了。
你想想看，GPU显存就像一个小仓库。模型参数、中间激活值、梯度、优化器状态……这些东西都要往里塞。仓库满了，你还往里搬东西，那肯定要出问题。
我个人的理解是：显存溢出 = 你向GPU申请的内存超过了它实际能提供的容量。
举个例子。你有一张8GB显存的RTX 3070，但你的模型加上batch size算下来需要10GB。这时候GPU就会告诉你：“兄弟，我装不下了。”
核心要点：显存溢出不是程序逻辑错误，而是资源分配问题。你的代码本身可能完全正确，只是GPU的“肚子”不够大。
常见报错信息解读
我在项目中遇到过各种各样的报错，但最常见的就下面这几种。咱们一个一个来看。
1. CUDA out of memory
这是最经典的报错，没有之一。
RuntimeError: CUDA out of memory. Tried to allocate 2.00 GiB (GPU 0; 8.00 GiB total capacity; 5.32 GiB already allocated; 1.68 GiB free; 5.68 GiB reserved in total by PyTorch)这条信息其实很有用。我来拆解一下：
- Tried to allocate 2.00 GiB：你这次想申请2GB显存
- 8.00 GiB total capacity：GPU总共就8GB
- 5.32 GiB already allocated：已经用了5.32GB
- 1.68 GiB free：还剩1.68GB空闲
- 5.68 GiB reserved in total：PyTorch预留了5.68GB
你看，你想申请2GB，但只剩1.68GB了。那肯定报错啊。
小技巧：看到这个报错，先看free那一项。如果free很小，说明显存确实不够。如果free很大但还是报错，那可能是碎片化问题，后面我们会讲到。
2. OOM (Out of Memory)
这个和上面的其实是一回事，只是不同框架的表述不同。TensorFlow喜欢直接说OOM：
ResourceExhaustedError: OOM when allocating tensor with shape[256, 512, 64, 64]它会告诉你是在分配哪个张量时出的问题。shape信息特别重要，你可以根据它反推出是哪一层网络出了问题。
3. 其他相关报错
还有一些报错，虽然不直接说OOM，但本质也是显存问题：
| 报错信息 | 含义 | 常见场景 |
|---|---|---|
| CUDA error: out of memory | 底层CUDA驱动报的OOM | 任何显存分配操作 |
| RuntimeError: CUDA error: an illegal memory access was encountered | 非法内存访问，可能是显存不足导致指针越界 | 训练中途突然崩溃 |
| Segmentation fault (core dumped) | 段错误，显存溢出严重时可能触发 | 模型加载或推理时 |
我曾经遇到过一个问题：训练跑了12个小时，突然来个segmentation fault。查了半天，发现是某个中间变量没释放，显存慢慢被吃光了。嗯，从那以后我养成了定期监控显存的好习惯。
为什么会发生显存溢出？
原因其实就几个：
- 模型太大：参数量超过显存容量。比如你用V100（32GB）去跑GPT-3，那肯定不行。
- batch size太大：这是最常见的原因。很多人习惯把batch size设成64、128，但显存可能只够跑32。
- 序列太长：NLP任务里，输入序列长度直接影响显存占用。Transformer的显存复杂度是O(n²)，序列长度翻倍，显存占用翻四倍。
- 中间变量没释放：代码里忘了del或者detach，导致显存一直被占用。
- 多进程显存共享问题：DataLoader开太多worker，每个worker都复制一份模型。
避坑指南：我曾经在DataLoader里把num_workers设成了16，结果每个worker都加载了一份完整的模型到显存。16个worker就是16份模型，显存直接爆了。后来我改成4个worker，问题就解决了。
知识体系总览
下面这张图是我自己整理的显存溢出问题排查框架，你可以把它当作一个路线图：
如何快速判断是不是显存溢出？
其实很简单，就三步：
- 看报错信息：有没有出现"out of memory"、"OOM"、"CUDA error"这些关键词。
- 看显存占用：用
nvidia-smi命令查看当前显存使用情况。 - 看代码逻辑：检查是不是有变量没释放，或者batch size设得太大。
我的习惯：每次跑新模型之前，我都会先估算一下显存占用。怎么估算？后面章节会详细讲。这里先记住一个原则：先小规模测试，再大规模训练。
好了，这一章的内容就到这里。显存溢出其实没那么可怕，关键是要理解它的本质——资源不够用了。后面我们会一步步深入，从诊断到解决，把这个问题彻底讲透。
想要更多资料，联系可可