01
显存基础
GPU显存架构概览 · 全局内存 · 共享内存 · 寄存器 · 本地内存 · 常量内存 · 纹理内存
架构内存类型
02
内存访问模式
合并访问原理 · 对齐与步长 · 银行冲突详解
CoalescingBank Conflict
03
共享内存优化
声明与使用 · 动态共享内存 · 同步 · Padding技巧
__shared__同步
04
寄存器优化
寄存器溢出 · Occupancy权衡 · __launch_bounds__
Register SpillOccupancy
05
全局内存优化
cudaMallocPitch · cudaMalloc3D · cudaMemcpy2D · __ldg只读缓存
Pitch__ldg
06
常量内存与纹理内存
常量内存场景 · 纹理边界插值 · Surface内存简介
__constant__纹理
07
内存池与统一内存
cudaMallocAsync · Unified Memory · cudaMemAdvise / PrefetchAsync
UM内存池
08
内存带宽测试
cudaMemcpy测带宽 · cudaEvent计时 · Nsight Compute分析
带宽Nsight
09
内存优化案例分析
矩阵转置 · 向量归约 · 直方图计算优化
Reduction直方图
10
高级优化技巧
cudaMallocManaged · cudaHostRegister · cudaGraph减少启动开销
cudaGraphPinned
11
显存优化工具
Nsight Systems · Nsight Compute · cuda-memcheck · nvidia-smi
Profiling调试
12
显存优化实战
优化自定义卷积核 · 池化核 · 全连接层
卷积池化
13
显存优化总结
常见优化模式 · 性能与显存权衡 · HBM3 / CXL未来趋势
模式趋势
14
CUDA流与并发
CUDA流概念 · 多流并发 · 流与内存操作同步
Stream并发
15
CUDA事件与计时
cudaEvent精确计时 · 事件同步 vs 流同步
EventTiming
16
CUDA错误处理
错误码 · cudaGetLastError · cudaPeekAtLastError
Error健壮性
17
CUDA调试技巧
printf内核调试 · cuda-gdb · Nsight调试
调试cuda-gdb
18
CUDA数学库
__sinf / __expf · cuda::math命名空间
Intrinsic数学
19
CUDA原子操作
原子概念 · atomicAdd / atomicCAS · 性能影响
Atomic同步
20
CUDA动态并行
动态并行概念 · cudaLaunchCooperativeKernel · 限制
Dynamic嵌套
21
CUDA与多GPU
多GPU编程 · cudaSetDevice · P2P通信
Multi-GPUP2P
22
CUDA与MPI
CUDA-Aware MPI · 分布式计算
MPI分布式
23
CUDA与NCCL
NCCL概念 · 多GPU通信 · AllReduce操作
NCCL集合通信
24
CUDA与cuBLAS
cuBLAS概念 · 矩阵乘法 · Handle管理
cuBLASBLAS
25
CUDA与cuDNN
cuDNN概念 · 卷积操作 · Tensor描述符
cuDNN深度学习
26
CUDA与TensorRT
TensorRT概念 · 模型优化 · INT8量化
TensorRTINT8
27
CUDA与PyTorch
CUDA张量 · 自定义扩展 · torch.cuda.amp混合精度
PyTorchAMP
28
CUDA与TensorFlow
GPU支持 · 自定义Op · tf.function / XLA
TensorFlowXLA
29
CUDA与JAX
GPU支持 · jax.jit · jax.vmap
JAXJIT
30
CUDA与Numba
Numba CUDA支持 · @cuda.jit · 与CuPy对比
NumbaCuPy