2、显存分配机制：CUDA内存模型、显存分配与释放API、内存池原理、常见分配陷阱

显存分配，说白了就是GPU怎么给你“划地盘”。很多同学一上来就写 cudaMalloc，觉得这有啥好讲的？嗯，我当年也这么想。直到有一次线上服务跑了大半天，突然OOM挂掉，排查了一整天才发现是显存碎片化的问题。从那以后，我再也不敢小看这块内容了。

2.1 CUDA内存模型：GPU的“五层楼”

先聊聊CUDA的内存模型。我个人习惯把它想象成一栋五层楼的房子：

• 全局内存（Global Memory）：一楼大厅，谁都能进，但速度最慢。显存主要就是指它。
• 共享内存（Shared Memory）：二楼会议室，同一个block里的线程可以快速交流。速度比全局内存快两个数量级。
• 寄存器（Registers）：三楼私人办公室，每个线程独享，最快但数量有限。
• 本地内存（Local Memory）：四楼储物间，寄存器不够用时自动启用，其实还是全局内存那套物理介质。
• 常量内存（Constant Memory）：五楼广播室，只读，适合存那些不变的参数。

你想想看，如果所有数据都堆在一楼大厅，那GPU的并行能力根本发挥不出来。我在项目中遇到过不少同学，明明可以用共享内存做缓存加速，偏要反复读写全局内存，结果性能惨不忍睹。

2.2 显存分配与释放API：cudaMalloc 和它的朋友们

CUDA提供了几套API来管理显存。最基础的就是 cudaMalloc 和 cudaFree。但这里有个坑——cudaMalloc 是同步操作，它会阻塞CPU直到分配完成。而 cudaFree 更狠，它会等所有正在使用这块显存的内核执行完毕才释放。

// 基础用法
float *d_data;
cudaMalloc(&d_data, size * sizeof(float));
// ... 使用显存 ...
cudaFree(d_data);

除了这对“老搭档”，还有几个API值得关注：

API	说明	我踩过的坑
cudaMallocHost	分配页锁定内存（Pinned Memory）	分配太多会导致系统内存紧张，我吃过这个亏
cudaMallocManaged	统一内存，CPU/GPU自动迁移	方便是方便，但性能开销大，适合原型验证
cudaHostRegister	将已有的CPU内存注册为页锁定	记得要配对 cudaHostUnregister

2.3 内存池原理：别再频繁“买房卖房”了

每次调用 cudaMalloc 都像买一套房，cudaFree 像卖房。频繁买卖不仅慢，还会导致“城市”变得支离破碎——这就是显存碎片化。

内存池（Memory Pool）的思路很简单：提前申请一大块显存，自己管理内部的分配和回收。就像你买下一整栋楼，然后自己当房东，按需分租。

CUDA 11.2 之后官方提供了 cudaMemPool 机制：

cudaMemPool_t pool;
cudaMemPoolCreate(&pool, &poolProps, stream);

// 从池中分配
void *ptr;
cudaMallocAsync(&ptr, size, stream);

// 释放回池中
cudaFreeAsync(ptr, stream);

// 销毁池
cudaMemPoolDestroy(pool);

我个人习惯在项目初期就引入内存池。虽然多写几行代码，但能避免后期90%的显存问题。特别是做推理服务时，请求频繁创建销毁张量，没有内存池的话，显存碎片化会让你欲哭无泪。

2.4 常见分配陷阱：我踩过的那些坑

做显存优化这些年，我总结了几条“血泪教训”：

1. 忘记同步就释放：cudaFree 会等内核执行完，但如果你用 cudaFreeAsync 配合非默认流，一定要确保流同步。我曾经在异步释放后立即分配，结果新数据覆盖了还在运行的内核的输入。
2. 过度使用页锁定内存：cudaMallocHost 确实能加速CPU到GPU的传输，但页锁定内存不可被交换到磁盘。分配太多会导致系统内存不足，甚至触发OOM Killer。我建议控制在总内存的20%以内。
3. 忽略对齐要求：GPU对内存对齐有要求，通常是256字节或512字节。不对齐的分配会导致访存性能下降。CUDA 11.0之后 cudaMalloc 会自动对齐，但如果你自己实现内存池，一定要手动对齐。
4. 小对象频繁分配：每次分配都有开销，而且小对象容易造成碎片。我建议把多个小张量合并成一个连续的大张量，或者用内存池统一管理。

2.5 知识体系总览

下面这张图总结了显存分配的核心逻辑，我建议你保存下来，遇到问题先对照看看：

这张图把显存分配的核心脉络串起来了。从上到下，从模型到API，再到优化手段和避坑指南。我建议你在实际项目中，遇到显存问题就对照这张图排查，基本能覆盖90%的场景。

想要更多资料，联系可可