cudaMalloc与cudaFree：设备内存的申请与释放

说实话，很多刚接触CUDA的朋友，觉得内存管理不就是malloc和free嘛，换个cudaMalloc和cudaFree不就完事了？嗯，我当年也是这么想的。直到有一次，我在一个图像处理项目里，因为内存没对齐，折腾了整整两天才找到问题根源。

今天咱们就来聊聊，这两个看似简单的API，到底藏着哪些坑。

基础用法：你真的会写吗？

先看最基础的写法：

float *d_data;
cudaMalloc((void**)&d_data, N * sizeof(float));
// ... 使用设备指针 ...
cudaFree(d_data);

这里有个细节，我刚开始写的时候也犯过迷糊——为什么cudaMalloc的参数要传二级指针？

原因很简单：cudaMalloc要在函数内部修改你传进去的指针值。C语言里想修改指针本身，就得传指针的地址。说白了，就是&d_data这个地址里存的是d_data这个变量，而cudaMalloc要把设备内存地址写进去。

内存对齐：看不见的坑

你想想看，GPU访问内存是有对齐要求的。一般来说，128字节对齐性能最好。但cudaMalloc默认就帮你对齐了，所以大部分时候你感觉不到。

但是！如果你自己搞内存池，或者用cudaMallocPitch分配二维数组，那就得小心了。

// 错误示范：假设每行1024个float
float *d_data;
cudaMalloc((void**)&d_data, 1024 * 512 * sizeof(float));
// 这样分配，每行的起始地址可能不对齐！

// 正确做法：用cudaMallocPitch
size_t pitch;
float *d_data;
cudaMallocPitch((void**)&d_data, &pitch, 1024 * sizeof(float), 512);
// pitch就是实际的行宽，可能比1024*sizeof(float)大

我在项目中遇到过，有个同事用第一种方式分配二维数组，结果在Tesla V100上性能差了30%。后来改成cudaMallocPitch，问题就解决了。

cudaFree的陷阱：别重复释放

这个坑我踩过，而且踩得很惨。

float *d_data;
cudaMalloc(&d_data, N * sizeof(float));

// 第一次释放
cudaFree(d_data);

// 第二次释放 —— 崩溃！
cudaFree(d_data);

为什么会这样？因为cudaFree不会把指针置为NULL。第一次释放后，d_data还是个野指针，指向一块已经释放的设备内存。第二次释放时，驱动就懵了。

正确的做法：

cudaFree(d_data);
d_data = NULL;  // 这行很重要！

内存泄漏：看不见的杀手

GPU内存泄漏比CPU内存泄漏更可怕。因为GPU内存通常只有几GB到几十GB，泄漏一次可能不明显，但跑个几天就炸了。

我见过最典型的场景：

for (int i = 0; i < 100000; i++) {
    float *d_temp;
    cudaMalloc(&d_temp, 1024 * sizeof(float));
    // 处理数据...
    // 忘了cudaFree！
}

这个循环跑完，100000次分配，每次4KB，总共约400MB内存就泄漏了。如果每次分配更大，或者循环次数更多，后果不堪设想。

错误处理：别忽略返回值

很多教程里，cudaMalloc和cudaFree都不检查返回值。但实际项目中，这很危险。

cudaError_t err = cudaMalloc(&d_data, N * sizeof(float));
if (err != cudaSuccess) {
    fprintf(stderr, "cudaMalloc failed: %s\n", cudaGetErrorString(err));
    // 处理错误，比如返回或退出
}

你想想看，如果GPU内存不足，cudaMalloc返回错误，但你忽略了，后面用d_data时就会访问非法地址，直接导致程序崩溃。而且这种崩溃很难定位。

性能考量：频繁分配要不得

cudaMalloc和cudaFree不是轻量级操作。每次调用都会涉及驱动层的操作，开销不小。

操作	典型耗时	说明
cudaMalloc (4KB)	~10-50 μs	小内存分配
cudaMalloc (1GB)	~1-10 ms	大内存分配
cudaFree	~1-10 μs	释放操作

所以，如果你在循环里频繁分配释放，性能会很难看。我建议的做法是：

• 提前分配好足够大的内存池
• 自己管理内存的分配和回收
• 只在初始化或配置变化时调用cudaMalloc/cudaFree

知识体系图

下面这张图，帮你理清cudaMalloc和cudaFree的核心要点：

嗯，这张图基本把核心要点都涵盖了。你写代码的时候，对照着检查一遍，基本不会出大问题。

最后说一句，cudaMalloc和cudaFree虽然基础，但真不能掉以轻心。我见过太多项目，就因为内存管理没做好，调试花的时间比写代码还多。记住：好的习惯，比好的技术更重要。