二、显存池核心参数概览：初始大小、最大大小、块大小、对齐策略、回收策略

显存池这东西，说白了就是给GPU提前划好的一块「自留地」。你想想看，每次训练模型都去操作系统申请显存，那效率得多低？我刚开始接触显存池时，也觉得不就是几个参数嘛，调大点不就行了？结果有一次把最大大小设得太大，直接导致其他进程饿死，整台机器都卡住了。嗯，从那以后我再也不敢小看这几个参数了。

今天咱们就把显存池的五个核心参数掰开揉碎讲清楚。它们分别是：初始大小、最大大小、块大小、对齐策略、回收策略。每个参数都有它的脾气，调不好就是坑，调好了就是利器。

初始大小，就是显存池一启动时预分配的显存量。我个人习惯把这个值设成模型推理时最大峰值显存的60%左右。为什么是60%？因为太小了会导致频繁扩容，太大了又浪费。

举个例子，你的模型推理需要8GB显存，那初始大小设个5GB就挺合适。我曾在项目中遇到过，有人把初始大小设成0，结果模型刚跑起来就疯狂触发扩容操作，性能直接掉了30%。

核心原则：初始大小 = 预期峰值显存 × 0.6 ~ 0.7。宁可稍微多给点，也别让扩容成为瓶颈。

最大大小，就是显存池能膨胀到的上限。这个参数很关键，它决定了你的显存池会不会「失控」。我记得有一次线上服务，最大大小设成了物理显存的100%，结果多个进程同时申请，直接把显存撑爆了，服务全挂了。

我建议最大大小不要超过物理显存的80%。留出20%给操作系统和其他进程，这是血的教训换来的经验。

注意：最大大小设得太大，不仅会导致OOM，还会让显存池的回收策略失效。因为池子永远有空间，回收算法根本不会触发。

块大小，是显存池分配的最小单位。说白了，就是每次从池子里切一块显存时，最少给多少。这个参数直接影响内存碎片和分配效率。

我个人习惯把块大小设成256KB或1MB。为什么是这个值？因为太小了（比如4KB）会导致元数据开销爆炸，太大了（比如64MB）又会造成内部碎片。

你想想看，如果块大小是1MB，你申请100KB的显存，池子也会给你1MB，那900KB就浪费了。反过来，如果块大小是4KB，你申请1GB显存，池子要切26万个块，管理成本高得吓人。

经验值：对于深度学习场景，块大小设为256KB ~ 1MB之间比较稳妥。如果模型张量普遍较大（比如大模型），可以适当提高到4MB。

对齐策略，就是显存地址的对齐方式。GPU对内存对齐有硬性要求，不对齐的话，访存性能会暴跌。我曾经遇到过，一个模型因为没做128字节对齐，训练速度直接慢了2倍。

常见的对齐策略有三种：

我个人建议，除非你明确知道目标GPU的特殊要求，否则就用128字节对齐。这是一个「万金油」配置，既不会浪费太多空间，又能保证大部分场景的性能。

避坑指南：我曾经把对齐策略设成512字节，结果显存池的碎片率飙升到40%。因为对齐粒度越大，越容易产生「空洞」——你想想看，申请一个3字节的块，却要占512字节的地址空间，那剩下的509字节就全浪费了。

回收策略，是显存池把空闲显存还给操作系统的机制。这个参数最容易被忽视，但恰恰是最影响长期稳定性的。

常见的回收策略有：

我一般用延迟回收，阈值设在70%。也就是说，当池子里有70%的显存是空闲的，才触发回收。这样既能保证性能，又不会让显存无限膨胀。

注意：如果你用的是「永不回收」策略，一定要配合最大大小使用。否则，显存池会一直膨胀，直到把物理显存吃光。

下面这张图，把五个参数的关系和影响路径画清楚了。你可以看到，每个参数都不是孤立的，它们互相影响，共同决定了显存池的行为。

看到这张图，你应该能明白：显存池调优不是调一个参数就完事了，得五个参数一起考虑。比如你把块大小调小了，对齐策略就得跟着调整，否则碎片率会飙升。

好了，这五个核心参数就讲到这里。每个参数都有它的最佳实践，但最终还是要结合你的实际场景来调。我建议你从默认配置开始，然后根据性能监控数据，一个一个参数去微调。别想着一口吃成胖子，调优是个细活。

想要更多资料，联系可可