4、内存池设计原理：内存池的动机、分类（固定大小、可变大小）、分配策略（首次适配、最佳适配等）

在大模型推理与训练场景中，显存和系统内存的分配频率极高，尤其是当模型包含数亿甚至数千亿参数时，每一次张量的创建、算子执行、中间结果的缓存都会触发内存申请与释放。如果直接依赖操作系统或CUDA运行时提供的通用分配器，频繁的 malloc/free 或 cudaMalloc/cudaFree 调用不仅带来微秒级的延迟开销，还会产生严重的内存碎片化问题。更关键的是，大模型服务通常要求低延迟、高吞吐，且需要为KV Cache、激活值、梯度等不同生命周期的对象提供可预测的分配行为。内存池（Memory Pool）正是为了解决这些问题而生的预分配与复用机制。本章将深入剖析内存池的设计动机、分类方式以及核心分配策略，帮助开发者在部署与调试大模型时，能够从原理层面理解内存行为，从而更精准地定位显存溢出、碎片化或性能抖动问题。

内存池设计原理总览 设计动机 • 减少系统调用开销 • 降低内存碎片化 • 提升分配确定性 • 支持大对象预分配 池的分类 固定大小池 • 块大小一致 • O(1) 分配/释放 • 无外部碎片 可变大小池 • 块大小动态 • 灵活但需管理 • 存在内部碎片 分配策略 • 首次适配 (First Fit) • 最佳适配 (Best Fit) • 最差适配 (Worst Fit) • 伙伴系统 (Buddy System) 分配流程链路 请求大小 S 选择池类型 固定/可变 遍历空闲链表 按策略匹配 切块/返回指针 更新元数据 策略对比速查 策略 优点 缺点 适用场景 首次适配 速度快，简单 可能产生大碎片 KV Cache 等大小相近对象 最佳适配 碎片最小化 遍历开销大 激活值、梯度等大小波动对象 伙伴系统 合并高效 内部碎片 底层内存管理、大块分配

上图从宏观视角展示了内存池设计的三个核心维度：动机、分类与分配策略。在后续内容中，我们将逐一拆解这些维度，并结合大模型部署中的实际场景（如KV Cache管理、连续批处理中的动态显存需求）进行深入分析。

4.1 内存池的设计动机：为什么通用分配器不够用？

4.1.1 核心原理：系统调用与碎片化的双重代价

通用内存分配器（如 ptmalloc、jemalloc、CUDA的 cudaMalloc）在设计时主要面向通用计算负载，其目标是在吞吐量和内存利用率之间取得平衡。然而，大模型推理引擎（如vLLM、TensorRT-LLM、SGLang）具有截然不同的内存访问特征：

  • 高频小对象分配：Transformer层中的每个张量、每个注意力头都可能触发独立的内存申请，单次请求可能产生数百次分配。
  • 生命周期差异巨大：模型权重是常驻内存的，KV Cache是随请求动态增长和释放的，而激活值则只存在于单次前向传播过程中。
  • 显存资源稀缺：GPU显存容量有限，且无法像系统内存那样进行磁盘交换，碎片化导致的浪费是致命的。

当调用 cudaMalloc 时，驱动需要向GPU驱动申请一块连续显存，这个过程涉及内核态切换、页表更新和TLB刷新，单次开销可达数十微秒。在推理延迟要求小于10ms的场景下，这种开销是不可接受的。更严重的是，频繁的分配与释放会导致显存出现大量不连续的空闲块，即使总空闲显存充足，也可能无法满足一个大块连续内存的申请需求。

关键洞察：内存池的本质是“预分配+复用”。通过一次性向操作系统或CUDA运行时申请大块内存，然后在用户态自行管理这些内存的分配与回收，从而将分配延迟从微秒级降低到纳秒级，同时通过精心设计的分配策略来抑制碎片化。

4.1.2 判断方法：何时应该引入内存池？

在部署大模型时，可以通过以下指标判断是否需要引入内存池：

  1. 分配延迟占比：使用 nsys 或 CUPTI 分析，如果 cudaMalloc 耗时占端到端推理时间的比例超过5%，则强烈建议使用内存池。
  2. 碎片化率：通过 nvidia-smi 查看显存使用情况，如果总显存剩余超过20%，但分配一个中等大小的张量（如64MB）仍然失败，说明碎片化严重。
  3. 分配次数统计：在代码中埋点统计，如果单次请求的分配次数超过100次，且对象大小集中在几个固定值附近，则适合使用固定大小内存池。

4.1.3 案例拆解：vLLM中的显存PagedAttention

vLLM是当前最流行的大模型推理框架之一，其核心创新PagedAttention本质上就是一个可变大小内存池的工程实现。在vLLM中，显存被划分为固定大小的“块”（block），每个块可以存储固定数量的token的KV状态。当请求到达时，系统按需分配块；当请求结束时，块被回收并放入空闲链表。

初始现象：在vLLM早期版本中，如果直接使用 cudaMalloc 为每个请求分配KV Cache，当并发请求数超过一定阈值时，显存碎片化导致分配失败，服务直接崩溃。

分析过程：通过CUDA事件分析发现，每次 cudaMalloc 平均耗时约15微秒，而KV Cache的分配频率高达每秒数千次。同时，由于不同请求的KV Cache大小不同（取决于序列长度），释放后留下的空洞无法被后续请求有效利用。

实际操作：vLLM采用PagedAttention方案，预先分配一个大的显存池（例如40GB），然后将其划分为16KB大小的块。每个块可以存储16个token的KV状态。分配时，只需从空闲块链表中取出一个块，时间复杂度为O(1)；释放时，将块归还链表。这种设计将分配延迟降低到约0.5微秒，且由于块大小固定，完全消除了外部碎片。

结果对比：在相同硬件（A100 80GB）和相同模型（LLaMA-70B）下，使用PagedAttention后，并发吞吐量提升了约2.3倍，显存利用率从68%提升到92%。

风险提示：固定大小内存池虽然消除了外部碎片，但可能产生内部碎片。例如，如果请求只需要5个token的KV空间，但块大小为16个token，则浪费了11个token的空间。在实际系统中，需要根据业务负载特征选择合适的块大小，或者采用多级块大小策略。

4.1.4 常见误区与复盘

  • 误区一：内存池越大越好。实际上，过大的内存池会占用宝贵的显存资源，导致模型无法加载。建议内存池大小设置为模型权重大小的1.5~2倍，或根据最大并发请求数计算。
  • 误区二：所有对象都放入同一个池。不同生命周期和大小特征的对象应使用不同的池。例如，模型权重使用常驻池，KV Cache使用固定大小池，激活值使用可变大小池。
  • 误区三：忽略释放操作的代价。内存池的释放操作虽然比 free 快，但如果需要执行内存整理（defragmentation）或合并相邻空闲块，仍然可能引入延迟。在延迟敏感场景中，应优先选择无整理需求的固定大小池。

4.2 内存池分类：固定大小池与可变大小池

4.2.1 核心原理：两种池的架构差异

根据分配对象的大小是否固定，内存池可分为两大类：

维度 固定大小池（Fixed-Size Pool） 可变大小池（Variable-Size Pool）
块大小 所有块大小完全一致 块大小根据请求动态变化
分配复杂度 O(1)，从空闲链表头部取出 O(n)，需要遍历空闲链表查找合适块
碎片化 无外部碎片，可能有内部碎片 可能有外部碎片，内部碎片较小
内存利用率 高（如果请求大小接近块大小） 中等（取决于分配策略）
典型应用 KV Cache块、线程池任务对象 激活值、梯度、临时张量

固定大小池的实现非常简洁：预分配一大块连续内存，将其切分为N个大小相等的块，使用一个空闲链表（free list）将所有空闲块串起来。分配时，从链表头部取出一个块；释放时，将块重新挂到链表头部。这种设计不需要维护任何元数据（如块大小、使用状态），因此性能极高。

可变大小池则复杂得多。它需要维护一个空闲块列表，每个空闲块记录其大小和地址。分配时，根据请求大小在空闲列表中查找合适的块；释放时，需要检查相邻块是否空闲，如果空闲则进行合并（coalescing），以减少外部碎片。

4.2.2 判断方法：如何选择池类型？

在大模型部署中，选择池类型应遵循以下原则：

  1. 分析对象大小分布：使用 torch.profiler 或 nsys 统计所有内存分配请求的大小。如果80%以上的请求集中在少数几个大小值（如16KB、32KB、64KB），则优先考虑固定大小池。
  2. 评估生命周期：如果对象生命周期短且频繁创建销毁（如激活值），固定大小池可以避免频繁的系统调用；如果对象生命周期长且大小差异大（如模型权重），则使用可变大小池。
  3. 考虑对齐要求：GPU内存通常要求256字节对齐。固定大小池可以天然满足对齐要求，而可变大小池需要在分配时额外处理对齐。

4.2.3 案例拆解：混合池策略在TensorRT-LLM中的应用

TensorRT-LLM是NVIDIA官方的大模型推理框架，其内存管理采用了一种混合策略：

  • 权重池：使用可变大小池，在模型加载时一次性分配所有权重所需内存，之后不再释放。
  • KV Cache池：使用固定大小池，块大小为预定义的token数（如64个token的KV状态）。
  • 激活值池：使用可变大小池，但采用线程局部缓存（Thread-Local Cache）来减少锁竞争。

这种混合策略的收益是显著的：权重池避免了模型加载后的碎片化；KV Cache池保证了高并发下的分配确定性；激活值池则通过最佳适配策略减少了内部碎片。

经验之谈：在实际调试中，如果发现显存占用率持续增长但实际活跃对象并不多，很可能是可变大小池产生了外部碎片。此时可以尝试在释放时增加相邻块合并逻辑，或者定期执行一次内存整理（将活跃对象移动到连续区域）。

4.2.4 常见误区与复盘

  • 误区一：固定大小池一定比可变大小池好。实际上，如果请求大小分布非常分散（例如从1KB到1MB都有），固定大小池会产生大量内部碎片，内存利用率反而更低。
  • 误区二：可变大小池必须使用最佳适配。最佳适配虽然能最小化碎片，但遍历开销大。在实时性要求高的场景中，首次适配可能更合适。
  • 误区三：忽略线程安全。多线程环境下，内存池的分配和释放操作需要加锁。如果锁竞争激烈，性能会急剧下降。建议使用线程局部池（Thread-Local Pool）或无锁队列。

4.3 分配策略：首次适配、最佳适配与伙伴系统

4.3.1 核心原理：三种主流策略的权衡

可变大小池的核心在于空闲块的查找策略。不同的策略在分配速度、碎片化程度和内存利用率方面各有取舍。

首次适配（First Fit）：从空闲链表头部开始遍历，找到第一个大小足够的块即分配。优点是查找速度快（平均只需遍历少量节点），且释放时无需特殊处理。缺点是可能将大块切分成小块，导致后续大请求无法满足。

最佳适配（Best Fit）：遍历整个空闲链表，找到大小最接近请求的块。优点是产生的碎片最小，缺点是遍历开销大（O(n)），且可能留下大量难以利用的微小空闲块。

最差适配（Worst Fit）：总是选择最大的空闲块进行分配。优点是剩余的空闲块仍然较大，可以满足后续大请求；缺点是容易将大块切碎，导致整体碎片化加剧。

伙伴系统（Buddy System）：将内存划分为2的幂次方大小的块。分配时，将请求大小向上取整到2的幂，然后从对应大小的空闲链表中分配。释放时，检查其“伙伴”（相邻且大小相同的块）是否空闲，如果空闲则合并为更大的块。伙伴系统的优点是合并操作高效（O(1)），缺点是内部碎片最多可达50%（例如请求3KB，实际分配4KB）。

4.3.2 判断方法：策略选择的量化指标

在为大模型部署选择分配策略时，可以通过以下指标进行量化评估：

指标 首次适配 最佳适配 伙伴系统
平均分配延迟（ns） 80~120 200~350 50~80
外部碎片率（%） 15~25 5~10 0（无外部碎片）
内部碎片率（%） 0~5 0~5 10~30
实现复杂度 低 中 中高

对于大模型推理场景，推荐采用首次适配+定期整理的组合策略。首次适配保证了低延迟，而定期整理（如每1000次请求执行一次）可以回收碎片。

4.3.3 案例拆解：SGLang中的RadixAttention与内存池

SGLang是另一个高性能推理框架，其RadixAttention机制在内存池设计上做了创新。SGLang维护了一个前缀树（Radix Tree）来缓存历史请求的KV状态，当新请求到达时，如果其前缀与历史请求匹配，则直接复用缓存的内存块。

初始现象：在长对话场景中，用户多次发送相似请求（如“介绍一下量子计算”和“介绍一下量子计算的应用”），如果每次都重新计算KV Cache，浪费大量算力和显存。

分析过程：SGLang团队发现，KV Cache的分配具有明显的“前缀复用”特征。如果采用传统的固定大小池，无法有效利用这种复用性。

实际操作：SGLang在固定大小池的基础上，增加了一个“引用计数”机制。每个内存块记录被多少个请求引用。当新请求的前缀与历史请求匹配时，直接增加对应块的引用计数，而不需要重新分配。当请求结束时，减少引用计数，当计数归零时才真正释放块。

结果对比：在ShareGPT数据集上测试，SGLang的RadixAttention将KV Cache的命中率提升到约40%，显存占用降低了约30%，端到端推理延迟降低了约22%。

风险提示：引用计数机制增加了内存池的复杂度。如果计数操作出现并发问题（如ABA问题），可能导致内存泄漏或悬空指针。在实现时，建议使用原子操作（std::atomic）来管理引用计数，并定期进行完整性校验。

4.3.4 常见误区与复盘

  • 误区一：最佳适配一定优于首次适配。在碎片化不严重的场景中，首次适配的分配速度优势更明显。建议通过A/B测试确定最优策略。
  • 误区二：伙伴系统没有外部碎片就万事大吉。内部碎片同样会浪费显存。例如，请求65KB内存，伙伴系统会分配128KB块，浪费近50%。
  • 误区三：忽略释放时的合并操作。对于可变大小池，释放时如果不检查相邻块并合并，碎片化会迅速恶化。建议在释放时使用边界标记（boundary tag）来快速判断相邻块状态。

4.4 内存池调试实战：从原理到工具

4.4.1 核心原理：调试内存池的关键指标

在部署和调试大模型时，需要关注以下内存池指标：

  • 池利用率：已分配内存 / 池总大小。如果长期低于50%，说明池过大或分配策略不当。
  • 碎片率：1 - (最大连续空闲块 / 总空闲内存)。碎片率越高，越容易发生分配失败。
  • 分配失败次数：当请求大小超过最大连续空闲块时，分配失败。这个指标直接反映了池的健康状况。
  • 平均分配延迟：通过 clock_gettime 或 CUDA事件 测量。

4.4.2 判断方法：使用CUDA工具定位内存问题

# 使用nsys分析内存分配热点
nsys profile --cuda-memory-usage=true --output=mem_profile ./your_inference_engine

# 使用cuda-gdb检查内存池状态
cuda-gdb -ex "set cuda memcheck on" -ex "run" -ex "bt" ./your_inference_engine

# 使用NVIDIA Nsight Compute查看内存池统计
ncu --metrics dram__bytes_read.sum,dram__bytes_write.sum ./your_inference_engine

在分析结果中，重点关注 cudaMalloc 的调用次数和耗时。如果调用次数超过每秒1000次，且平均耗时超过10微秒，则必须引入内存池。

4.4.3 案例拆解：一次显存碎片化导致的OOM排查

背景与约束：某团队部署LLaMA-13B模型，使用自研推理引擎，GPU为A100 40GB。模型权重占用约26GB，剩余14GB用于KV Cache和激活值。

初始现象：当并发请求数达到8时，系统报 CUDA out of memory，但 nvidia-smi 显示显存仍有3GB空闲。

关键输入数据：通过 nsys 捕获到，在OOM前0.5秒内，有约200次 cudaMalloc 调用，请求大小从1KB到256MB不等。最大连续空闲块仅为1.2GB，而一个256MB的请求需要连续内存。

分析判断过程：碎片化率 = 1 - (1.2GB / 3GB) = 60%。碎片化严重的原因是KV Cache和激活值交替分配释放，且大小差异大。

实际操作步骤：

  1. 将KV Cache改为固定大小池，块大小为32KB（可存储32个token的KV状态）。
  2. 将激活值改为可变大小池，采用首次适配策略，并在释放时执行相邻块合并。 ← 上一章 📖 返回目录 下一章 →