一、显存碎片初探：什么是显存碎片？
大家好，我是你们的老朋友。今天咱们来聊聊显存碎片——这个让无数AI工程师头疼的问题。
先问个问题：你遇到过训练到一半，突然报错“CUDA out of memory”吗？明明显存还没用完，就是分配不出新空间。嗯，大概率是显存碎片在捣鬼。
1.1 什么是显存碎片？
显存碎片，说白了就是显存空间被切割成很多小块。就像一块完整的蛋糕，被人东挖一勺西挖一勺，最后剩下很多小洞。这些小洞单独看都不大，但加起来容量不小。
我举个例子：假设你有10GB显存。训练过程中，不断分配和释放各种tensor。最后剩下3GB空闲空间，但被分成了几十个几十MB的小块。这时候你想分配一个1GB的tensor，系统一看——没有连续1GB的空闲块，直接报错。
核心定义：显存碎片是指显存中不连续的空闲内存块，导致无法分配大块连续内存的现象。
1.2 为什么会出现显存碎片？
原因其实不复杂。我总结为三点：
- 频繁分配释放：训练过程中，中间激活值、梯度、优化器状态不断创建和销毁。每次分配和释放都会在显存中留下“痕迹”。
- 大小不一的tensor：不同层的输出尺寸不同，有的几MB，有的几百MB。这些小tensor释放后，留下的空洞很难被后续的大tensor利用。
- 内存对齐要求：CUDA分配内存时有对齐要求（通常是256字节或512字节）。这会导致实际分配的空间比请求的大一点，进一步加剧碎片化。
我记得有一次排查一个BERT-large的训练问题。模型本身只占6GB，但跑着跑着就OOM了。我一看显存状态——空闲总量还有4GB，但最大连续块只有200MB。这就是典型的碎片问题。
避坑指南：我曾经遇到过新手把batch size设得特别小，导致频繁分配释放小tensor。结果显存碎片率飙升到40%以上。后来把batch size调大，问题立刻缓解。
1.3 显存碎片对AI训练/推理的影响
影响有多大？我直接说结论：显存碎片是AI训练中“隐形杀手”。它不会直接报错，但会慢慢蚕食你的有效显存。
具体影响有这几个方面：
| 影响维度 | 具体表现 | 严重程度 |
|---|---|---|
| 训练效率 | 显存利用率下降，被迫减小batch size | 高 |
| 模型规模 | 无法训练更大模型，或需要更多GPU | 高 |
| 推理延迟 | 碎片导致内存分配耗时增加 | 中 |
| 稳定性 | 训练中途OOM，需要重启 | 极高 |
你想想看，一个训练任务跑了两天，突然因为显存碎片OOM了。所有进度归零，这谁受得了？
我个人的经验是：显存碎片率超过30%就要警惕了。超过50%基本必出问题。怎么监控？可以用 nvidia-smi 看显存使用情况，或者用PyTorch的 torch.cuda.memory_summary() 查看详细分配信息。
注意：显存碎片不是只有大模型才有的问题。小模型如果训练逻辑写得不好，同样会碎片化。我见过一个ResNet-50的训练任务，因为数据加载器频繁创建临时tensor，碎片率也飙到了35%。
1.4 一个直观的例子
咱们写段代码看看碎片是怎么产生的：
import torch
# 模拟训练过程中的分配释放
def simulate_fragmentation():
tensors = []
for i in range(100):
# 分配不同大小的tensor
size = (i % 10 + 1) * 100 # 100MB到1GB不等
t = torch.empty(size, device='cuda')
tensors.append(t)
# 随机释放一些tensor
if i % 3 == 0:
idx = torch.randint(0, len(tensors), (1,)).item()
del tensors[idx]
# 查看显存状态
print(torch.cuda.memory_summary())
simulate_fragmentation()跑完这段代码，你会发现显存里有很多“空洞”。这就是碎片化的直观体现。
1.5 本章小结
显存碎片不是什么高深概念。它就是内存分配释放过程中留下的“伤疤”。
记住三个关键点：
- 碎片导致显存利用率下降，明明有空闲却用不了
- 频繁分配释放小tensor是主要元凶
- 碎片率超过30%就要开始干预了
下一章咱们聊聊怎么检测和量化显存碎片。到时候我会分享一个我自己写的监控工具，挺好用的。
想要更多资料，联系可可