显存管理基础：GPU显存架构、显存分配与释放机制、显存碎片化问题
大家好，我是你们这趟《算子优化与显存协同调优实战》课程的领路人。今天咱们来聊聊一个绕不开的话题——显存管理。说白了，就是搞清楚GPU里那块宝贵的内存到底是怎么工作的。
我刚开始做深度学习的时候，总觉得显存就是个“大仓库”，往里塞数据就行了。结果呢？模型一跑起来，各种“out of memory”的错误满天飞。后来我才明白，不了解显存的脾气，你写的算子再快，也跑不起来。
一、GPU显存架构：从全局到局部
先看看GPU显存长什么样。你想想看，一个GPU芯片上，有成千上万个计算核心。它们要干活，就得有数据。数据从哪来？从显存里来。
但显存不是铁板一块。它分了好几个层级，每个层级的速度和大小都不一样。
核心层级：
- 全局显存（Global Memory）：这是最大的那块，通常几个GB到几十个GB。所有线程都能访问，但速度最慢。我习惯叫它“大仓库”。
- 共享显存（Shared Memory）：每个线程块独享的一块小内存，速度比全局显存快很多。你可以把它想象成“工作台”，大家伙儿在上面协作。
- 寄存器（Registers）：每个线程私有的，速度最快，但数量极少。嗯，这里要注意，寄存器用多了，会影响能同时运行的线程数。
- L1/L2缓存：硬件自动管理的缓存，用来加速数据访问。我们一般不太直接管它，但它的命中率直接影响性能。
我在项目中遇到过一个问题：一个算子跑得特别慢，一看性能分析，发现全局显存访问延迟高得吓人。后来我把热点数据搬到了共享显存里，速度直接翻了三倍。说白了，就是让数据离计算核心更近。
下面这张图，帮你理清它们之间的关系：
二、显存分配与释放机制
搞清楚了架构，咱们再来看看显存是怎么分配和释放的。这就像你去图书馆借书还书，得有个规矩。
在CUDA里，最常用的分配函数是cudaMalloc，释放函数是cudaFree。看起来简单，但背后有门道。
// 分配显存
float *d_data;
cudaMalloc((void**)&d_data, size * sizeof(float));
// 使用显存...
// 释放显存
cudaFree(d_data);
我个人习惯，在写代码的时候，会尽量把cudaMalloc和cudaFree配对出现。这样不容易漏掉释放。你想想看，要是借了书不还，图书馆迟早得乱套。
小技巧： 使用cudaMallocManaged可以分配统一内存，让CPU和GPU共享指针。但要注意，它可能会引入隐式的数据传输，影响性能。我一般只在原型验证时用它。
释放机制呢？GPU的显存释放是异步的。也就是说，你调用cudaFree的时候，可能还有别的操作在用这块内存。CUDA运行时会等所有相关操作都完成了，才真正把内存还回去。
我曾经踩过一个坑：在循环里反复分配和释放显存，结果性能一塌糊涂。后来改成预先分配好一块“内存池”，需要的时候从池子里拿，用完再放回去。这样避免了频繁的系统调用，速度提升很明显。
三、显存碎片化问题
说到显存管理，最让人头疼的就是碎片化问题。这就像你搬家，东西乱塞一气，最后想放个大件进去，发现空间不够了。
显存碎片化分两种：
- 外部碎片：空闲内存块太小，分散在各处，无法满足一个大分配请求。
- 内部碎片：分配的内存块比实际需要的大，浪费了空间。
为什么会这样？说白了，就是分配和释放的顺序不规律。比如你先分配了A、B、C三块内存，然后释放了B。这时候B那块地方就空出来了。但如果A和C都还在用，B这块空闲区域就“夹”在中间，没法跟别的地方合并。
避坑指南： 我曾经在一个训练任务中，因为频繁创建和销毁不同大小的张量，导致显存碎片化严重。最后明明还有2GB空闲显存，却分配不出一个1.5GB的张量。排查了半天，才发现是碎片化搞的鬼。
怎么解决？我总结了几个实用方法：
| 方法 | 说明 | 适用场景 |
|---|---|---|
| 预分配内存池 | 启动时一次性分配大块显存，后续从池中按需取用 | 训练任务，张量大小相对固定 |
| 统一分配大小 | 尽量让所有张量的大小是某个对齐值的倍数 | 推理部署，减少碎片 |
| 使用流式分配器 | 按执行流分配，流内顺序释放 | 多流并行场景 |
| 定期整理 | 暂停执行，移动数据，合并空闲块 | 长时间运行的服务 |
嗯，这里要注意，没有银弹。每种方法都有代价。比如内存池会占用更多显存，整理操作会引入延迟。你得根据实际场景来权衡。
核心要点回顾：
- GPU显存是多层级的，从全局到寄存器，速度越来越快，容量越来越小。
- 分配和释放要配对，避免频繁操作，尽量用内存池。
- 碎片化是隐形杀手，提前规划分配策略能省很多麻烦。
好了，这一章的内容就到这里。显存管理是算子优化的地基，地基不稳，上层建筑再漂亮也白搭。希望你能把这些基础打牢，后面咱们再聊更高级的调优技巧。
想要更多资料，联系可可