VIP20

本课程属于：008-显存碎片治理 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

CUDA内存拷贝优化指南

📚 共计 30 章节

CUDA内存模型全景

Host与Device内存架构，全局内存、共享内存、寄存器、本地内存、常量内存、纹理内存的层级关系与带宽差异。

cudaMemcpy基础

同步拷贝的三种模式（HostToDevice、DeviceToHost、DeviceToDevice），API签名与阻塞特性分析。

cudaMemcpyAsync与流

异步拷贝的核心机制，创建CUDA流实现数据传输与内核计算的重叠。

固定内存（Pinned Memory）

为什么malloc分配的内存拷贝慢？cudaHostAlloc的使用场景与性能提升原理。

固定内存带宽

零拷贝内存（Zero-Copy）

mapped memory的概念，适合离散小数据量的场景，避免显式拷贝的开销。

零拷贝映射

统一内存（Unified Memory）

cudaMallocManaged的便捷性与自动迁移机制，性能陷阱与适用场景分析。

统一内存自动迁移

内存带宽理论极限

如何计算GPU的理论带宽，使用bandwidthTest工具测量实际带宽，定位瓶颈。

数据传输与计算重叠

使用CUDA事件和流实现流水线，多流并发传输与kernel执行的时序图分析。

重叠流水线

双缓冲技术（Double Buffering）

乒乓缓冲的设计模式，在流中交替使用两个缓冲区隐藏传输延迟。

双缓冲乒乓

批量小数据传输优化

合并多个小拷贝为一次大拷贝，减少启动开销与PCIe事务次数。

CUDA感知MPI（CUDA-Aware MPI）

分布式场景下GPU间直接通信，避免经过Host中转的冗余拷贝。

绕过CPU和系统内存，实现GPU与网卡/存储设备间的直接数据通路。

NCCL库的使用

多GPU通信的集合操作（AllReduce、Broadcast），NCCL内部的内存优化策略。

NCCL集合通信

cudaMemcpy2D与cudaMemcpy3D

处理矩阵切片与立体数据的高效拷贝，对齐要求与性能优势。

异步数据预取（Prefetching）

使用cudaMemPrefetchAsync主动将数据迁移到目标设备，减少缺页中断。

内存池（Memory Pools）

cudaMallocAsync与cudaMemPool，减少重复cudaMalloc的开销与碎片化。

内存池碎片

CUDA Graphs捕获

将多个内存拷贝与kernel启动捕获为一张图，一次提交减少CPU调度开销。

寄存器与本地内存优化

减少寄存器溢出（spilling）到本地内存，避免隐式的慢速内存访问。

寄存器spilling

共享内存的bank conflict

共享内存的访问模式优化，避免bank冲突带来的带宽下降。

共享内存bank

常量内存的广播机制

__constant__的使用场景，适合所有线程读取相同数据的只读场景。

常量内存广播

纹理内存的缓存优化

纹理内存的二维局部性缓存特性，适合图像处理与不规则访问模式。

内存对齐与合并访问

全局内存的合并访问条件，结构体数组（SoA）与数组结构体（AoS）的布局选择。

NVIDIA Nsight Systems分析

时间轴视图识别传输与计算的比例，定位空闲时间。

Nsight时间轴

NVIDIA Nsight Compute分析

Memory Workload Analysis面板解读，L1/L2缓存命中率。

CUDA内核中的内存栅栏

__threadfence()与__syncthreads()对内存可见性的影响，避免数据竞争。

页面错误与迁移开销

统一内存下的页面错误处理机制，如何通过预取和内存建议减少缺页。

多GPU间的点对点通信

cudaDeviceEnablePeerAccess，直接P2P传输与环形拓扑的优化。

带宽与延迟权衡

大块数据追求带宽，小块数据追求延迟，不同策略的选择依据。

图像处理流水线优化

从CPU加载图像到GPU处理再到回传显示，全链路内存拷贝优化实战。

科学计算中的Checkpointing

大规模模拟的中间状态保存与恢复，内存拷贝与磁盘IO的协同优化。