第1章
CUDA内存模型全景
全局内存、共享内存、寄存器、本地内存、常量内存、纹理内存的层次结构与访问延迟对比。
🏛️ 层次⏱️ 延迟
第2章
cudaMemcpy基础
同步拷贝与异步拷贝的API详解，默认流与多流场景下的行为差异。
⚡ 同步/异步🌊 流
第3章
固定内存（Pinned Memory）
为什么需要固定内存？cudaHostAlloc的使用与性能收益分析。
📌 固定⚡ 带宽
第4章
零拷贝内存（Zero-Copy）
映射主机内存到设备端，避免显式拷贝的适用场景与陷阱。
🔄 映射⚠️ 陷阱
第5章
统一内存（Unified Memory）
CUDA 6引入的自动迁移机制，cudaMallocManaged的用法与性能调优。
🤖 自动📈 调优
第6章
异步拷贝与流（Stream）
多流并发拷贝，cudaMemcpyAsync如何隐藏传输延迟。
⏳ 延迟隐藏🌊 多流
第7章
双缓冲技术（Double Buffering）
计算与拷贝重叠的经典模式，实现流水线并行。
📦 流水线⚡ 重叠
第8章
CUDA事件（Event）计时
使用cudaEvent精确测量拷贝带宽，排除启动开销。
⏱️ 精确📊 带宽
第9章
带宽测量与理论峰值
如何计算GPU的理论内存带宽，实测带宽与理论值的差距分析。
📐 理论📉 差距
第10章
内存对齐与合并访问
全局内存的合并访问条件，对齐对拷贝带宽的影响。
📏 对齐🔗 合并
第11章
二维/三维内存拷贝
cudaMemcpy2D与cudaMemcpy3D的用法，Pitch与对齐的关系。
📐 2D/3D📏 Pitch
第12章
页锁定内存池
cudaHostAlloc的多种标志（WriteCombined、Portable等）及其影响。
🏷️ 标志📦 池
第13章
GPU间直接拷贝（P2P）
cudaMemcpyPeer与cudaDeviceEnablePeerAccess，NVLink下的优化。
🔗 P2P⚡ NVLink
第14章
多GPU间的数据分发
环形拷贝模式与树形拷贝模式的带宽对比。
🔄 环形🌲 树形
第15章
NVIDIA Nsight Systems分析拷贝
时间轴视图下的拷贝与计算重叠分析。
🔍 分析📈 时间轴
第16章
NVIDIA Nsight Compute分析拷贝
内存事务与扇出（Sector）分析。
🔬 事务📂 扇出
第17章
CUDA Graphs与拷贝
将拷贝操作封装进Graph，减少内核启动开销。
📊 Graph⚡ 启动开销
第18章
Mapped Memory与原子操作
在零拷贝内存上使用原子操作的注意事项。
⚛️ 原子⚠️ 注意
第19章
纹理内存与表面内存
适用于特定访问模式的只读缓存，拷贝路径的特殊性。
🎨 纹理📎 表面
第20章
常量内存的拷贝
cudaMemcpyToSymbol的使用场景，广播机制与性能。
📯 常量📡 广播
第21章
寄存器溢出与本地内存
当寄存器不足时数据被挤到本地内存，如何避免性能下降。
📤 溢出⚡ 性能
第22章
共享内存的Bank Conflict
虽然不直接是拷贝，但影响数据在片内的搬运效率。
🏦 Bank⚡ 效率
第23章
CUDA驱动API的拷贝
cuMemcpy与cuMemcpyHtoD等底层接口，与运行时API的对比。
⚙️ 驱动🔄 对比
第24章
虚拟内存管理（CUDA 10+）
cuMemAddressAlloc与cuMemCreate，细粒度控制映射。
🧠 虚拟🔬 细粒度
第25章
统一内存的页错误分析
使用CUDA工具跟踪页错误，优化数据迁移策略。
📄 页错误📊 迁移
第26章
多进程服务（MPS）下的拷贝
MPS对拷贝带宽的影响，共享通道的利弊。
🔄 MPS📡 共享
第27章
CUDA IPC
进程间共享CUDA数据，cudaIpcGetMemHandle的使用与拷贝优化。
📬 IPC🔗 共享
第28章
内存拷贝与电源管理
GPU时钟频率对拷贝带宽的影响，如何锁定频率进行测试。
🔋 电源📈 频率
第29章
大模型训练中的数据加载优化
使用异步拷贝与预处理流水线。
🤖 大模型⚡ 流水线
第30章
实时视频处理中的零拷贝与统一内存
延迟与吞吐量的权衡。
🎥 视频⚖️ 权衡