VIP20

本课程属于：026-CUDA内存拷贝 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

CUDA内存拷贝原理解析

📚 共计 30 章节

CUDA内存模型全景

从全局内存到寄存器，一张图看懂GPU存储层次。

cudaMemcpy基础

同步拷贝的三种模式：HostToDevice、DeviceToHost、DeviceToDevice。

内存拷贝的硬件路径

PCIe总线、DMA引擎、GPU内部互联。

页锁定内存（Pinned Memory）

为什么malloc分配的内存拷贝慢？

cudaHostAlloc详解

四种标志位：Default、Portable、WriteCombined、Mapped。

标志位分配

零拷贝内存（Zero-Copy）

什么时候可以省掉显式拷贝？

零拷贝优化

统一内存（Unified Memory）

cudaMallocManaged的自动迁移机制。

统一内存的页面错误

GPU缺页中断与按需迁移。

cudaMemcpyAsync

流与异步拷贝的并发执行。

双缓冲技术

用异步拷贝隐藏数据传输延迟。

双缓冲延迟隐藏

内存拷贝带宽测量

cudaEvent计时与带宽计算公式。

影响拷贝带宽的因素

传输粒度、对齐、PCIe通道数。

二维内存拷贝

cudaMemcpy2D与内存填充（Pitch）。

三维内存拷贝

cudaMemcpy3D在体数据处理中的应用。

内存拷贝与内核执行的重叠

CUDA流与回调函数。

多流并发拷贝

MPS（Multi-Process Service）与多流调度。

同一节点内多GPU之间的直接拷贝。

GPU Direct RDMA

跨节点GPU与网卡直接数据交换。

cudaMemcpyPeer / Async

P2P拷贝的API详解。

内存拷贝的错误处理

cudaError_t与常见失败原因。

内存拷贝的性能调优

从Profiler（nsys、ncu）看拷贝瓶颈。

内存池（Memory Pool）

cudaMemPool系列API减少分配开销。

异步内存池

流序内存分配与释放。

内存拷贝的原子操作

cuda::atomic与全局内存的同步。

持久化内存（Persistent Memory）

跨内核生命周期的数据驻留。

内存拷贝与CUDA图（Graph）

用图捕获优化拷贝序列。

CUDA Graph捕获

内存拷贝的虚拟地址映射

cudaVirtualAddressManager。

虚拟地址映射

深度学习中的内存拷贝

DataLoader的GPU加速。

深度学习DataLoader

科学计算中的内存拷贝

FDTD、CFD中的数据传输模式。

科学计算FDTD

内存拷贝的未来

CXL互连、NVLink 4.0、池化内存架构。