3、CUDA图优化概念：什么是CUDA图（CUDA Graph）、图捕获与图执行、图优化的优势与适用场景
3.1 核心原理：从“逐核启动”到“图结构提交”
传统CUDA编程模型中，GPU任务的执行方式是“逐核启动”（Kernel-by-Kernel Launch）。每个kernel的启动都伴随着CPU端的一次函数调用，GPU端需要等待前一个kernel完成后才能开始下一个。这种模式在kernel数量较少时开销不明显，但在深度学习推理、科学计算等包含数百个细粒度kernel的场景中，CPU启动开销与GPU空闲等待会严重拖累整体性能。
CUDA Graph（CUDA图）的核心思想是：将一系列GPU操作（kernel启动、内存拷贝、事件记录等）预先捕获并构建为一张有向无环图（DAG），然后一次性提交给GPU执行。GPU驱动会解析整张图，优化执行顺序，并尽可能减少CPU与GPU之间的同步次数。
关键区别：
- 传统模式：CPU逐个启动kernel → 每个kernel之间隐式同步 → 启动开销与kernel数量成正比。
- CUDA Graph模式：CPU一次性提交整张图 → GPU内部按依赖关系调度 → 启动开销与图节点数量近似解耦。
3.2 方法流程：图捕获与图执行
CUDA Graph的使用分为两个阶段：捕获阶段和执行阶段。捕获阶段将原本逐次发起的CUDA调用“录制”为图结构；执行阶段则直接提交图，GPU按依赖关系调度执行。
3.2.1 图捕获（Graph Capture）
捕获的核心机制是流捕获（Stream Capture）。应用在一个特殊的捕获流上发起kernel启动、内存拷贝等操作，CUDA驱动会拦截这些调用并记录为图的节点。捕获结束后，调用cudaGraphInstantiate生成可执行的图实例。
// 图捕获示例
cudaStream_t captureStream;
cudaStreamCreateWithFlags(&captureStream, cudaStreamNonBlocking);
cudaGraph_t graph;
cudaStreamBeginCapture(captureStream, cudaStreamCaptureModeGlobal);
// 在捕获流上发起常规CUDA操作
kernel_A<<<grid, block, 0, captureStream>>>(...);
kernel_B<<<grid, block, 0, captureStream>>>(...);
cudaMemcpyAsync(dst, src, size, cudaMemcpyDeviceToDevice, captureStream);
cudaStreamEndCapture(captureStream, &graph);
// 实例化图（可重复执行）
cudaGraphExec_t graphExec;
cudaGraphInstantiate(&graphExec, graph, NULL, NULL, 0);捕获限制：捕获期间不允许执行某些操作，例如cudaMalloc（可用cudaMallocAsync替代）、cudaDeviceSynchronize、cudaStreamSynchronize等阻塞型调用。此外，捕获流上不能使用默认流（NULL流）的隐式同步。
3.2.2 图执行（Graph Launch）
实例化后的图可以多次提交执行，每次提交只需一次API调用：
// 重复执行图
for (int i = 0; i < batchCount; ++i) {
cudaGraphLaunch(graphExec, stream);
}
// 图执行是异步的，需要同步等待完成
cudaStreamSynchronize(stream);图执行时，GPU驱动会分析节点间的依赖关系，在硬件层面进行调度。对于没有依赖关系的节点，GPU可以并行执行，进一步挖掘GPU的并行能力。
3.3 案例/场景：图优化在深度学习推理中的典型应用
深度学习推理是CUDA Graph收益最明显的场景之一。以TensorRT为例，一个典型的推理模型包含数十个层，每层对应一个或多个kernel。传统模式下，CPU逐个启动kernel，启动开销可达总延迟的10%~30%。
| 场景 | kernel数量 | 传统启动开销 | CUDA Graph优化后 | 收益来源 |
|---|---|---|---|---|
| ResNet-50推理 | ~100 | ~80μs | ~15μs | 消除逐核启动与同步等待 |
| BERT推理 | ~200 | ~150μs | ~30μs | 图内节点并行调度 |
| 多流并发推理 | ~500 | ~400μs | ~80μs | 减少CPU干预，GPU自主调度 |
除了推理，以下场景也适合使用CUDA Graph：
- 强化学习/仿真：每次迭代执行相同的kernel序列，图可复用。
- 科学计算：如分子动力学模拟中每步计算流程固定。
- 实时渲染：每帧的GPU工作流固定，图可降低帧延迟抖动。
- 动态形状批处理：配合TensorRT的动态形状，图可针对不同输入尺寸重新实例化。
3.4 误区/复盘：使用CUDA Graph的常见陷阱
误区1：图捕获后输入数据不能变化
图捕获时记录的是指针地址，而非数据值。如果每次执行时输入数据存放在同一块显存地址，则图可以重复使用。但如果每次输入地址不同，需要在每次执行前更新图的输入节点（使用cudaGraphExecKernelNodeSetParams更新参数，或使用cudaGraphExecMemcpyNodeSetParams更新拷贝源地址）。
误区2：图捕获期间使用默认流导致隐式同步
默认流（NULL流）与其他流之间存在隐式同步，这会导致捕获失败或产生非预期行为。捕获期间应使用cudaStreamNonBlocking标志创建的流，并避免在捕获流上调用同步函数。
复盘建议：
- 先用
cudaGraphDebugDotPrint导出图结构，检查节点依赖是否符合预期。 - 对比图执行与逐核启动的耗时，使用
cudaEvent精确测量，避免被CPU启动开销掩盖真实收益。 - 对于动态形状场景，优先使用
cudaGraphExecUpdate更新图参数，而不是重新捕获整张图。 - 注意图实例的内存占用，复杂图可能消耗较多显存，需在显存受限场景下权衡。
CUDA Graph的核心价值在于将CPU从频繁的启动调度中解放出来，让GPU自主管理节点执行。它并非万能优化手段，但对于kernel数量多、执行流程固定、延迟敏感的场景，往往能带来显著的性能提升。在TensorRT中，CUDA Graph已被深度集成，作为动态形状推理的关键优化技术之一。