一、显存池基础概念

什么是显存池？

显存池，说白了就是一块预先分配好的GPU显存区域。你把它想象成一个「内存仓库」——程序需要显存时，直接从仓库里拿；用完了，再放回去。

我刚开始接触GPU编程时，总觉得这玩意儿多此一举。直到有一次，我在做大规模推理服务时，发现每次请求都调用 cudaMalloc 分配显存，结果系统响应越来越慢，最后直接OOM了。嗯，那时候我才意识到，显存分配不是免费的午餐。

显存池的核心思想很简单：复用。它把频繁分配和释放的显存管理起来，避免每次都跟操作系统打交道。

为什么需要显存池？

你想想看，GPU显存分配和CPU内存分配完全是两码事。CPU上你 malloc 一下，微秒级就搞定了。但GPU上调用 cudaMalloc，那可是毫秒级的操作——差了整整三个数量级。

我做过一个测试：

操作	耗时	备注
CPU malloc (1MB)	~1μs	几乎无感
GPU cudaMalloc (1MB)	~1ms	1000倍差距
显存池分配 (1MB)	~1μs	和CPU差不多

看到了吧？显存池分配的速度，几乎和CPU内存分配一样快。为什么？因为它只是从预先分配好的池子里「切」一块出来，不需要跟驱动层交互。

我曾经在一个实时视频处理项目里，每秒要处理30帧图像。每帧都需要分配和释放显存。如果用 cudaMalloc，光分配开销就占了30ms——帧率直接掉到30fps以下。换成显存池后，分配开销降到0.3ms，帧率稳稳跑到60fps。

显存池 vs 普通内存分配

这里有个容易混淆的点：显存池和CPU上的内存池，原理相似，但实现细节完全不同。

我列个对比表，你一看就明白：

对比维度	普通内存分配 (malloc)	显存池分配
分配速度	微秒级	微秒级（池化后）
系统调用开销	低（用户态）	高（需驱动交互）
碎片问题	有，但OS可处理	严重，需池化管理
跨进程共享	容易	复杂（需IPC）
内存带宽	CPU内存带宽	GPU显存带宽（高10倍+）

注意看「碎片问题」这一行。GPU显存一旦产生碎片，几乎无法像CPU那样通过虚拟内存来整理。我曾经在一个训练任务中，因为显存碎片导致明明还有2GB空闲，却分配不出一个1GB的tensor。那叫一个憋屈。

显存池的核心结构

一个典型的显存池，内部长这样：

// 伪代码：显存池核心结构
class GPUMemoryPool {
    // 预分配的大块显存
    void* pool_base;        // 池基地址
    size_t pool_size;       // 池总大小
    
    // 空闲块链表（按大小排序）
    FreeList free_blocks;   
    
    // 已分配块哈希表（快速查找）
    HashMap<void*, Block> allocated;
    
    // 分配策略
    AllocStrategy strategy; // best-fit / first-fit / buddy
};

这里有个关键点：空闲块链表按大小排序。为什么？因为GPU显存分配最怕「大材小用」——你分配一个1MB的块，结果从10MB的空闲块里切，那剩下的9MB就成了碎片。

我个人习惯用 buddy system（伙伴系统） 来管理显存池。它天然能减少碎片，而且分配和释放都是O(1)复杂度。不过它有个缺点：内存利用率可能偏低（因为只能分配2的幂次大小）。

显存池的工作流程

我画了一张流程图，帮你理解显存池的完整工作流程：

流程其实不复杂：

1. 收到分配请求，先查池里有没有合适的空闲块
2. 有的话，直接切一块出来，返回指针
3. 没有的话，调用 cudaMalloc 向GPU申请，然后加入池中管理
4. 释放时，不调用 cudaFree，而是把块放回空闲链表

这里有个细节：什么时候真正调用 cudaFree？ 我一般会在池子空闲块太多时（比如超过总大小的20%），才触发一次真正的释放。这样可以避免频繁和驱动层交互。

显存池的常见实现

业界常用的显存池实现有这么几种：

• Buddy System（伙伴系统）：按2的幂次划分块，分配释放快，但内部碎片多
• Slab Allocator：针对固定大小对象优化，适合tensor分配
• Free List + Best-fit：灵活但查找慢，适合大块分配
• Ring Buffer：适合流式处理，分配释放顺序固定

我个人最常用的是 Buddy System + Slab 混合方案。小对象（<1MB）用Slab，大对象用Buddy。这样既保证了小对象的分配速度，又减少了大对象的碎片。

嗯，说到这，我想起一个教训。有一次我全用Buddy System管理显存，结果模型里全是奇数大小的tensor（比如3MB、5MB），Buddy只能分配2的幂次（4MB、8MB），内存浪费率高达40%。后来改成混合方案，浪费率降到了5%以下。

好了，显存池的基础概念就这些。说白了就是一句话：预分配、复用、减少系统调用。下一节我们会深入显存池的实现细节，包括线程安全、碎片整理、以及如何和CUDA Stream协同工作。