3、CUDA显存分配API：cudaMalloc、cudaFree、cudaMallocManaged等函数的使用与区别

3.1 核心原理：显存分配的本质与三种分配路径

CUDA程序中的显存分配并非直接操作物理显存，而是通过驱动层维护的虚拟地址空间与物理显存页之间的映射关系。每次调用分配函数，驱动都会在GPU地址空间中预留一段虚拟地址，并延迟到首次访问时才真正提交物理页。理解这一点，是后续分析碎片问题的前提。

CUDA提供了三条主要的显存分配路径，它们的差异决定了内存的可见范围、迁移策略和性能特征：

• cudaMalloc：分配设备端私有显存，仅当前GPU可见，主机端无法直接访问。这是最传统、性能最可控的分配方式，也是TensorRT默认的权重与激活内存分配方式。
• cudaFree：释放由cudaMalloc或cudaMallocManaged分配的内存。释放操作会触发驱动回收对应的虚拟地址区间，但物理页可能不会立即归还给系统，而是进入驱动级缓存池，这是显存碎片的重要来源之一。
• cudaMallocManaged：分配统一寻址（Managed Memory）内存，CPU和GPU通过同一指针访问，由驱动自动迁移数据。它简化了编程，但可能引入隐式的页迁移开销，且对分配粒度更敏感。

3.2 方法流程：三种分配方式的使用模式与代码模板

在实际工程中，选择哪种分配方式取决于数据的使用频率、访问方以及生命周期。以下给出三种方式的典型使用流程。

3.2.1 cudaMalloc / cudaFree 的标准流程

float* d_data = nullptr;
size_t bytes = N * sizeof(float);

// 1. 分配设备显存
cudaError_t err = cudaMalloc(&d_data, bytes);
if (err != cudaSuccess) {
    // 处理分配失败，常见原因：显存不足、碎片过多
    fprintf(stderr, "cudaMalloc failed: %s\n", cudaGetErrorString(err));
    return -1;
}

// 2. 使用显存（如 kernel 计算）
my_kernel<<<blocks, threads>>>(d_data, N);

// 3. 同步并释放
cudaDeviceSynchronize();
cudaFree(d_data);   // 释放后 d_data 变为悬空指针，建议置空
d_data = nullptr;

该流程的关键点在于：分配后必须检查返回值，因为显存碎片可能导致大块分配失败；释放后立即置空指针，避免重复释放或悬空访问。

3.2.2 cudaMallocManaged 的使用模式

float* h_data = nullptr;
size_t bytes = N * sizeof(float);

// 分配统一寻址内存
cudaMallocManaged(&h_data, bytes);

// 主机端直接初始化
for (int i = 0; i < N; ++i) h_data[i] = i * 1.0f;

// 设备端 kernel 直接访问同一指针
my_kernel<<<blocks, threads>>>(h_data, N);

// 需要同步，确保 kernel 完成后再从主机端读取
cudaDeviceSynchronize();
float sum = 0.0f;
for (int i = 0; i < N; ++i) sum += h_data[i];

cudaFree(h_data);

使用Managed Memory时，驱动会在首次访问时按页迁移数据。如果kernel频繁访问的数据与主机端交错，会产生页迁移抖动。因此，对于流式数据或高频访问的缓冲区，建议使用cudaMemPrefetchAsync预取到目标设备。

3.2.3 分配策略对比清单

特性	cudaMalloc	cudaMallocManaged	cudaHostAlloc
可见范围	仅设备端	主机+设备	主机端（映射到设备）
数据迁移	显式 cudaMemcpy	自动按页迁移	显式或零拷贝
分配粒度	512字节对齐	驱动决定（通常较大）	页对齐（4KB/64KB）
碎片风险	高（频繁分配/释放）	中（驱动管理）	低（系统内存）
性能特征	最优，无迁移开销	可能因迁移产生延迟	PCIe传输瓶颈

3.3 案例/场景：TensorRT中的分配策略选择

在TensorRT的推理引擎构建和运行时阶段，不同数据对象适合不同的分配方式。以下是一个典型的TensorRT显存分配场景分析。

推荐分配策略：

1. 权重张量：使用cudaMalloc一次性分配，并在加载后不再释放，避免碎片。TensorRT内部通过ICudaEngine::serialize后的反序列化过程，将权重拷贝到固定显存区域。
2. 激活内存：TensorRT使用IExecutionContext::executeV2时，内部会通过cudaMalloc按需分配临时缓冲区。由于每次推理的激活大小可能不同，建议使用cudaMallocAsync（流序分配）以减少碎片。
3. 输入输出缓冲区：如果使用cudaMallocManaged，可以简化CPU与GPU之间的数据交换，但需注意在每次推理前调用cudaMemPrefetchAsync将输入数据预取到GPU，推理完成后再预取回CPU。

// TensorRT 运行时显存分配示例
cudaStream_t stream;
cudaStreamCreate(&stream);

// 输入输出使用 Managed Memory，便于主机端直接填充
float* d_input;
float* d_output;
cudaMallocManaged(&d_input, inputBytes);
cudaMallocManaged(&d_output, outputBytes);

// 每次推理前预取输入到 GPU
cudaMemPrefetchAsync(d_input, inputBytes, deviceId, stream);

// 执行推理（TensorRT 内部使用 cudaMalloc 分配激活内存）
context->enqueueV2(buffers, stream, nullptr);

// 推理完成后将输出预取回 CPU
cudaMemPrefetchAsync(d_output, outputBytes, cudaCpuDeviceId, stream);
cudaStreamSynchronize(stream);

3.4 误区/复盘：常见分配错误与碎片陷阱

在实际项目中，开发者经常在显存分配上踩坑，以下三个误区最具代表性。