2. CUDA内存管理基础：从cudaMalloc到内存池的进化之路

聊GPU显存管理，很多人第一反应就是cudaMalloc和cudaFree。嗯，这确实是基础，但说实话，我见过太多人在高并发场景下栽在这两个API上。今天我就把这块掰开揉碎了讲清楚。

2.1 cudaMalloc/cudaFree：看似简单，实则暗藏玄机

先看最基础的操作。cudaMalloc分配显存，cudaFree释放显存。听起来跟malloc/free差不多对吧？但底层差别大了去了。

// 基础用法
float *d_ptr;
cudaMalloc(&d_ptr, 1024 * sizeof(float));
// ... 使用显存 ...
cudaFree(d_ptr);

这里有个关键点：cudaMalloc是同步操作。什么意思？就是它返回的时候，显存已经实实在在分配好了。我早期做项目时没注意这点，在循环里频繁调用cudaMalloc，结果发现GPU利用率上不去——全在等内存分配了。

核心机制：cudaMalloc内部会向GPU驱动申请一块连续显存，然后返回指针。这个过程涉及用户态到内核态的切换，开销不小。我实测过，单次cudaMalloc大约需要5-15微秒，具体取决于驱动和硬件。

cudaFree呢？它也不是立即释放。驱动会把释放的显存块标记为可用，但不会立刻归还给系统。这就引出了碎片问题——你释放了，但留下的空洞可能无法被后续的大块分配利用。

避坑指南：我曾经在一个实时视频处理项目里，每帧都cudaMalloc/cudaFree临时缓冲区。跑了半小时后，cudaMalloc开始返回out of memory。明明总显存还有剩余，但就是分配不出连续大块。这就是典型的显存碎片问题。

2.2 CUDA内存池原理：为什么我们需要它？

说白了，cudaMalloc/cudaFree就像你去图书馆每次借一本书都要重新办卡。而内存池就是给你一张长期借书卡，提前把常用书都放在你桌上。

CUDA从11.0开始引入了官方内存池API。它的核心思想很简单：预分配一大块显存，然后自己管理内部的分配和回收。

// CUDA内存池基本用法
cudaMemPool_t pool;
cudaMemPoolCreate(&pool, &poolProps);

// 从池中分配
float *d_ptr;
cudaMallocAsync(&d_ptr, 1024 * sizeof(float), pool, stream);

// 释放回池中
cudaFreeAsync(d_ptr, stream);

// 销毁池
cudaMemPoolDestroy(pool);

看到区别了吗？cudaMallocAsync和cudaFreeAsync是异步的！它们不会阻塞调用线程。这在流水线并行场景下特别有用。

我的经验：内存池的默认大小是64MB。如果你的应用需要频繁分配小内存（比如几百字节到几KB），建议调大池的初始大小。我一般设为256MB或512MB，能显著减少运行时分配次数。

内存池内部怎么工作的？它维护了一个空闲块链表。分配时，从链表中找大小合适的块；释放时，把块放回链表，并尝试合并相邻的空闲块。这跟CPU上的内存池原理类似，但GPU上要考虑显存带宽和延迟特性。

2.3 页锁定内存：别小看这个"钉子户"

页锁定内存（Pinned Memory），也叫固定内存。它跟普通malloc分配的内存有啥区别？

普通内存可以被操作系统换出到磁盘（swap），物理地址不固定。而页锁定内存的物理页被"钉"在内存里，不会被换出。这对GPU数据传输至关重要。

// 分配页锁定内存
float *h_ptr;
cudaHostAlloc(&h_ptr, 1024 * sizeof(float), cudaHostAllocDefault);

// 使用完后释放
cudaFreeHost(h_ptr);

为什么GPU喜欢页锁定内存？因为DMA传输需要物理地址连续。如果内存可以被换出，GPU在传输过程中可能访问到错误的物理地址。用页锁定内存，就保证了物理地址的稳定性。

性能对比：使用页锁定内存的cudaMemcpy速度是普通内存的2-3倍。我做过测试，在PCIe 3.0 x16上，普通内存传输带宽约6GB/s，页锁定内存能达到11-12GB/s。

但要注意，页锁定内存是稀缺资源。分配太多会影响系统整体性能，因为其他进程的内存被限制了。我建议：只对需要频繁传输的数据使用页锁定内存，比如每帧都要更新的输入输出缓冲区。

曾经踩过的坑：有次我分配了2GB页锁定内存做数据缓存，结果系统变得异常卡顿。后来发现是页锁定内存太多，导致系统可用物理内存不足，频繁触发swap。从那以后，我严格控制页锁定内存总量不超过物理内存的20%。

2.4 虚拟内存管理：GPU也有虚拟地址空间

很多人以为GPU只有物理显存，其实不然。从CUDA 10.2开始，NVIDIA引入了统一虚拟寻址（UVA）和虚拟内存管理。

简单说，GPU也有自己的页表，把虚拟地址映射到物理显存页。这带来了几个好处：

稀疏分配：可以分配一个很大的虚拟地址范围，但只在实际使用时才分配物理页
按需分页：访问到未映射的虚拟地址时，触发缺页中断，自动分配物理页
内存超分：虚拟地址空间可以大于物理显存，通过页面置换来管理

// 虚拟内存管理示例
CUmemGenericAllocationHandle handle;
CUmemAllocationProp prop = {};
prop.type = CU_MEM_ALLOCATION_TYPE_PINNED;
prop.location.type = CU_MEM_LOCATION_TYPE_DEVICE;
prop.location.id = 0;

// 分配物理显存
size_t granularity;
cuMemGetAllocationGranularity(&granularity, &prop, CU_MEM_ALLOC_GRANULARITY_MINIMUM);
cuMemCreate(&handle, size, &prop, 0);

// 映射到虚拟地址
CUdeviceptr dptr;
cuMemAddressReserve(&dptr, size, 0, 0, 0);
cuMemMap(dptr, size, 0, handle, 0);

// 设置访问权限
CUmemAccessDesc accessDesc = {};
accessDesc.location.type = CU_MEM_LOCATION_TYPE_DEVICE;
accessDesc.location.id = 0;
accessDesc.flags = CU_MEM_ACCESS_FLAGS_PROT_READWRITE;
cuMemSetAccess(dptr, size, &accessDesc, 1);

这段代码看着复杂，但核心逻辑就三步：分配物理页 → 预留虚拟地址 → 建立映射。我一般在需要管理超大显存（比如几十GB）时才会用到这套API。

实用建议：对于大多数应用，直接用cudaMalloc就够了。虚拟内存管理API更适合框架开发者或需要精细控制显存分配的场景。我只有在做分布式训练框架时，才真正用到这些底层接口。

2.5 知识体系总览

说了这么多，我画张图帮你理清思路。这张图展示了CUDA内存管理的核心层次：

这张图把CUDA内存管理分成了四个层次。从上往下看，应用层最友好但灵活性最低，物理显存层最底层但控制力最强。我个人的建议是：能用内存池就别裸调cudaMalloc，能用cudaMalloc就别碰虚拟内存API。除非你明确知道自己在做什么。

总结一下：cudaMalloc/cudaFree是基础但开销大，内存池是解决碎片问题的利器，页锁定内存是高速传输的关键，虚拟内存管理则是终极武器。理解这四者的关系，你就能在高并发场景下游刃有余地管理GPU显存。

嗯，这部分内容就到这里。记住，显存管理没有银弹，关键是根据场景选择合适的策略。我在实际项目中，通常先用内存池方案，如果遇到特殊需求再考虑虚拟内存API。这样既保证了性能，又控制了复杂度。

📚 课程目录

2. CUDA内存管理基础：从cudaMalloc到内存池的进化之路

2.1 cudaMalloc/cudaFree：看似简单，实则暗藏玄机

2.2 CUDA内存池原理：为什么我们需要它？

2.3 页锁定内存：别小看这个"钉子户"

2.4 虚拟内存管理：GPU也有虚拟地址空间

2.5 知识体系总览