一、显存池基础概念

大家好，我是你们的老朋友。今天咱们聊聊显存池。

说实话，我刚开始做深度学习训练时，最头疼的就是显存爆炸。模型还没跑起来，先报个OOM（Out of Memory），心态直接崩了。后来我深入研究才发现，问题出在显存分配方式上——每次申请释放都像去菜市场买菜，零散又低效。显存池，就是解决这个问题的关键。

1.1 什么是显存池

显存池，说白了就是一块预先申请好的显存区域。它像一个「内存仓库」，训练过程中需要显存时，直接从池子里拿；用完了，再还回去。而不是每次都找操作系统要。

我习惯把显存池比作「自助餐厅」。你想想看，如果每次吃饭都现点现做，那得等多久？自助餐厅提前备好菜，你直接取就行。显存池也是这个道理——提前申请一大块显存，后续分配就是「指针移动」而已，几乎没有开销。

核心定义：显存池（Memory Pool）是预先分配并管理的一块连续显存区域，用于高效处理频繁的显存分配与释放请求。

举个例子，PyTorch 的 CUDA 缓存分配器就是典型的显存池实现。你调用 torch.cuda.empty_cache() 时，其实只是把显存还给池子，而不是真的还给 GPU 驱动。

# 伪代码：显存池的基本操作
class MemoryPool:
    def __init__(self, size):
        self.pool = cuda_malloc(size)  # 一次性申请大块显存
        self.free_list = [self.pool]   # 空闲块列表
    
    def allocate(self, size):
        # 从空闲列表中找合适大小的块
        block = find_best_fit(self.free_list, size)
        return block
    
    def free(self, block):
        # 把块归还到空闲列表
        self.free_list.append(block)

1.2 为什么需要显存池

你可能会问：直接用 cudaMalloc 和 cudaFree 不就行了？为什么还要搞个池子？

嗯，这里有个关键问题——GPU 显存分配的开销非常大。我在项目中实测过，一次 cudaMalloc 调用大约需要 10-50 微秒，而显存池分配只需要纳秒级。差了几个数量级。

更坑的是，频繁的 cudaMalloc 和 cudaFree 会导致显存碎片化。就像硬盘用久了会产生碎片一样，显存也会。碎片多了，明明总显存够用，但就是分配不出连续的大块空间。我曾经遇到过一个模型，训练到一半报错，查了半天发现是显存碎片导致的——总显存还剩 4GB，但最大连续块只有 256MB。

避坑指南：我曾经在训练一个 70B 的大模型时，因为显存碎片问题，训练速度从 1000 tokens/s 掉到了 200 tokens/s。后来改用显存池 + 预分配策略，速度直接拉回 950 tokens/s。所以，显存池不是锦上添花，而是刚需。

总结一下，显存池解决了三个核心问题：

分配效率低：系统级分配太慢，池化后快了 100 倍以上
显存碎片化：频繁申请释放导致碎片，池化后统一管理
内存抖动：训练过程中显存需求波动大，池化后平滑处理

1.3 显存池 vs 普通内存分配

咱们来做个对比，这样更直观。

对比维度	普通内存分配	显存池分配
分配方式	每次调用系统 API	从预分配池中取
分配速度	微秒级（10-50μs）	纳秒级（<1μs）
碎片问题	严重，尤其大模型	可控，可合并空闲块
内存利用率	低，碎片浪费多	高，可复用
适用场景	小模型、一次性分配	大模型、频繁分配

我个人习惯用「批发 vs 零售」来理解这个区别。普通分配是零售——每次买一点点，价格贵、效率低。显存池是批发——一次性大量采购，然后慢慢用。你想想看，哪个更划算？

小技巧：如果你用 PyTorch，可以设置 torch.cuda.set_per_process_memory_fraction(0.9) 来限制显存池的最大使用量。这样即使模型有内存泄漏，也不会把整个 GPU 显存吃光。我在生产环境中一直这么用。

还有一个关键区别：普通分配是「按需分配」，显存池是「预分配 + 按需取用」。预分配的好处是，训练过程中不会因为显存分配失败而中断。坏处是，如果预分配太多，会浪费显存。所以，显存池的大小需要精心调优。

我记得有一次，我把显存池设得太大，结果模型还没开始训练，显存就占了 80%。后来我改成动态扩展的池子——初始只分配 50%，不够时再自动扩展。这样既保证了效率，又避免了浪费。

1.4 显存池的核心结构

下面这张图展示了显存池的核心逻辑。我画了个简单的结构图，帮你理解。

从图中可以看到，显存池维护了两个核心列表：空闲块列表和已分配块列表。分配时，从空闲列表找合适的块；释放时，把块归还到空闲列表，并尝试合并相邻的空闲块。

合并这一步很关键。如果不合并，时间长了空闲列表里全是小碎片，大块分配就会失败。我见过一个项目，就是因为没做合并，训练到第 100 个 epoch 时显存利用率从 95% 掉到了 60%。

关键点：显存池的核心价值在于「复用」和「合并」。复用减少分配次数，合并消除碎片。两者缺一不可。

好了，这一章的内容就到这里。显存池的概念其实不复杂，但它是后续所有优化技术的基础。你想想看，如果连显存分配都搞不定，还谈什么模型训练优化？

下一章，咱们聊聊显存池的具体实现策略——伙伴算法和 slab 分配器。这两种策略各有优劣，我在项目中都踩过坑，到时候详细说。

📚 课程目录

一、显存池基础概念

1.1 什么是显存池

1.2 为什么需要显存池

1.3 显存池 vs 普通内存分配

1.4 显存池的核心结构