2. CUDA编程基础回顾

好，咱们进入正题。在聊显存池之前，得先把CUDA内存这块老底翻出来晒晒。我见过不少同学，一上来就写 cudaMalloc，跑通了就完事，结果项目一上规模，性能直接崩盘。说白了，你对内存不理解，显存池就无从谈起。

2.1 CUDA内存模型：一张你得刻在脑子里的图

CUDA的内存模型，其实是个分层结构。你可以把它想象成一个团队协作的场景：

• 全局内存（Global Memory）：大仓库，所有人都能访问，但慢。显存池主要管的就是它。
• 共享内存（Shared Memory）：小组的公共办公桌，同一个Block内的线程共享，快得很。
• 寄存器（Registers）：每个线程自己的口袋，最快，但容量极小。
• 本地内存（Local Memory）：寄存器不够用了，编译器偷偷把变量塞到全局内存里，假装是私有的。嗯，这是性能杀手。
• 常量内存（Constant Memory）：只读的，适合放一些不会变的参数，有缓存加速。
• 纹理内存（Texture Memory）：专门为图形学优化的只读内存，有空间局部性缓存。

我个人习惯，把这张图贴在工位上。你想想看，数据在不同层级间搬来搬去，代价天差地别。全局内存的延迟，大概是共享内存的 100倍 左右。

下面这张图，是我自己画的CUDA内存模型结构图，帮你理清关系：

2.2 cudaMalloc 和 cudaFree：看似简单，实则昂贵

很多新手觉得，cudaMalloc 不就是分配显存吗？跟 malloc 差不多。其实差远了。

cudaMalloc 的代价，主要体现在这几个方面：

1. 驱动层开销：每次调用 cudaMalloc，都要和GPU驱动打交道。驱动需要维护页表、分配物理显存页、更新映射关系。这个过程是 同步的，CPU得等着。
2. 内存对齐与分页：GPU对内存对齐有严格要求，通常是256字节或更大。驱动会帮你做对齐，但这背后有额外计算。
3. 上下文切换：如果你的程序在多个CUDA流或上下文之间切换，分配和释放的开销会更大。
4. 碎片化风险：频繁 cudaMalloc/cudaFree 会导致显存碎片化。就像你反复往硬盘里存删文件，最后明明还有空间，却存不下一个大文件。

来看一个简单的性能对比代码：

// 测试 cudaMalloc/cudaFree 的代价
#include <cuda_runtime.h>
#include <chrono>
#include <iostream>

int main() {
    const int N = 1000;
    const size_t size = 1024 * 1024; // 1MB
    
    // 测试反复分配释放
    auto start = std::chrono::high_resolution_clock::now();
    for (int i = 0; i < N; i++) {
        void* ptr;
        cudaMalloc(&ptr, size);
        cudaFree(ptr);
    }
    auto end = std::chrono::high_resolution_clock::now();
    
    double avg_ms = std::chrono::duration<double, std::milli>(end - start).count() / N;
    std::cout << "平均每次 cudaMalloc + cudaFree 耗时: " << avg_ms << " ms" << std::endl;
    
    return 0;
}

在我的机器上（RTX 4090），这个数字大概是 0.05ms 到 0.1ms 之间。看起来不多对吧？但如果你每帧要分配几十次，或者你的应用对延迟极其敏感，这个开销就不可忽视了。

2.3 为什么显存池能解决这个问题？

说白了，显存池的思路就是：一次分配，重复使用。

你提前从驱动那里申请一大块显存，然后自己管理这块内存的“借出”和“归还”。这样，应用程序层面的“分配”和“释放”就变成了纯用户态的操作，不再需要和驱动打交道。

下表总结了 cudaMalloc 和显存池的对比：

特性	cudaMalloc/cudaFree	显存池
分配速度	慢（涉及驱动调用）	快（纯用户态操作）
碎片化	容易产生	可控制（通过内存池策略）
灵活性	高（按需分配）	中（需要预先规划）
适用场景	一次性分配、低频操作	高频分配、实时系统
调试难度	低（标准API）	中（需要自己管理）

2.4 避坑指南：你可能会遇到的几个问题

• 不要用 cudaMalloc 分配小内存：比如几百字节的缓冲区。驱动层的开销是固定的，小内存分配性价比极低。
• 注意 cudaFree 的同步行为：cudaFree 会隐式同步所有流。如果你在流里还有未完成的任务，它会等任务完成才释放。这可能导致意外的性能下降。
• 检查返回值：cudaMalloc 返回 cudaErrorMemoryAllocation 时，别只打印个错误就完事。要设计优雅的降级策略。
• 显存泄漏：和CPU内存一样，忘了 cudaFree 就会泄漏。用 cuda-memcheck 或 compute-sanitizer 定期检查。

嗯，到这里，CUDA内存模型和 cudaMalloc 的代价就讲完了。这些是显存池的基础，理解透了，后面讲池化策略时你才能跟上节奏。