1、显存泄漏的根源：理解CUDA内存分配与释放机制，掌握cudaMalloc和cudaFree的正确使用姿势

显存泄漏，说白了就是你的程序「借了不还」。GPU显存是有限的资源，你每次调用cudaMalloc，就像从系统手里借了一块显存。如果你忘了用cudaFree还回去，这块显存就一直被占用着。跑一次两次没事，跑几百次迭代，显存就慢慢被吃光了，然后训练就崩了。

我刚开始做深度学习训练时，就吃过这个亏。一个模型跑了12个小时，在第9个小时的时候突然报错：CUDA out of memory。当时我整个人都懵了。后来一查，发现是数据加载部分每次迭代都分配了新显存，但没释放。嗯，从那以后，我对显存管理就格外上心。

1.1 CUDA内存分配：cudaMalloc到底干了什么？

cudaMalloc这个函数，看起来很简单，就是分配显存。但它的背后，其实涉及了CUDA驱动和GPU硬件之间的复杂交互。

当你调用cudaMalloc(&d_ptr, size)时，CUDA驱动会做这几件事：

• 检查当前GPU是否有足够的空闲显存
• 在GPU的全局内存中找一块连续的空间
• 更新显存分配表，标记这块区域已被占用
• 返回指向这块显存的指针

这里有个关键点：cudaMalloc分配的是物理显存，不是虚拟内存。你分配了，别人就用不了。这和CPU上的malloc不一样，CPU有虚拟内存机制，可以换页到磁盘。GPU没有这个能力，显存满了就是满了。

1.2 cudaFree的正确释放姿势

有分配就有释放。cudaFree的作用就是把之前分配的显存还给系统。但释放这件事，也有讲究。

正确的做法是：

float *d_data;
cudaMalloc(&d_data, 1024 * sizeof(float));

// ... 使用d_data进行运算 ...

cudaFree(d_data);  // 用完了，立刻释放
d_data = nullptr;  // 好习惯：释放后置空指针

我个人习惯在释放后立刻把指针置空。为什么？因为如果不置空，后面如果不小心又用这个指针，就会访问到非法地址，程序可能崩溃。而且崩溃的位置往往离真正的bug很远，排查起来特别痛苦。

1.3 显存泄漏的典型场景

我总结了几种最常见的泄漏场景，你看看自己有没有踩过坑：

场景	问题描述	后果
循环内分配不释放	在for循环里每次迭代都cudaMalloc，但只在循环外释放一次	显存随迭代次数线性增长，最终OOM
异常分支忘记释放	函数中有多个return路径，只有部分路径调用了cudaFree	特定条件下泄漏，难以复现
类析构函数未释放	在类的构造函数中分配显存，但析构函数没有调用cudaFree	对象销毁时显存泄漏
重复分配覆盖指针	对同一个指针连续调用两次cudaMalloc，第一次的地址丢失	第一次分配的显存永远无法释放

我曾经在做一个多卡训练的项目时，就遇到了「异常分支忘记释放」的问题。某个数据预处理函数，在输入数据格式不对时会提前返回，但那个返回路径上忘了释放之前分配的临时显存。结果就是，只要遇到格式不对的数据，显存就泄漏一点点。数据量大了以后，泄漏就变得非常明显。

1.4 避坑指南：如何写出安全的分配释放代码

基于我多年的踩坑经验，这里给你几条实用的建议：

class GPUMemManager {
private:
    float *d_ptr_;
    size_t size_;
public:
    GPUMemManager(size_t size) : size_(size) {
        cudaMalloc(&d_ptr_, size);
    }
    ~GPUMemManager() {
        if (d_ptr_) {
            cudaFree(d_ptr_);
            d_ptr_ = nullptr;
        }
    }
    float* get() { return d_ptr_; }
    // 禁止拷贝和赋值
    GPUMemManager(const GPUMemManager&) = delete;
    GPUMemManager& operator=(const GPUMemManager&) = delete;
};

cuda-memcheck --leak-check full ./your_program

这个工具会报告所有未释放的显存分配，精确到代码行号。我每次提交代码前，都会跑一遍这个检查。

1.5 显存分配与释放的核心流程图

下面这张图，展示了从分配、使用到释放的完整流程，以及泄漏发生的环节：

你看，流程其实很简单。但就是这「忘记释放」的一步，让多少人栽了跟头。你想想看，一个训练跑了好几个小时，最后因为显存泄漏崩了，那种感觉真的很崩溃。

1.6 总结：记住这三句话

关于显存泄漏，你只需要记住三句话：

• 每次cudaMalloc，都要对应一次cudaFree —— 这是铁律
• 释放后立刻置空指针 —— 这是好习惯
• 用工具定期检查 —— 这是保险

做到这三点，90%的显存泄漏问题都能避免。剩下的10%，等你遇到更复杂的场景时，我们再慢慢聊。