01
GPU显存基础
显存架构、显存带宽、显存容量、显存分配与释放机制
显存架构
02
CUDA核函数入门
核函数定义、线程层次结构、网格与块、线程索引计算
CUDA线程
03
共享内存优化
共享内存原理、Bank Conflict、共享内存分配、动态共享内存
共享内存Bank
04
寄存器优化
寄存器压力、寄存器溢出、__launch_bounds__、maxrregcount
寄存器占用率
05
全局内存合并访问
合并访问条件、对齐要求、结构体数组 vs 数组结构体
内存合并
06
常量内存与纹理内存
常量内存特性、__constant__、纹理内存、纹理对象
常量纹理
07
流与并发执行
CUDA流、异步操作、流同步、多流并发、MPS
并发流
08
事件与计时
CUDA事件、事件同步、精确计时、性能分析工具
性能计时
09
统一内存
统一内存原理、页面迁移、内存预取、内存建议
统一内存迁移
10
内存池与自定义分配器
CUDA内存池、cudaMemPool、自定义分配策略
内存池分配器
11
核函数启动配置优化
启动配置参数、占用率计算、occupancy API
启动配置占用率
12
Warp级别优化
Warp执行模型、Warp divergence、Warp shuffle、协作组
WarpShuffle
13
归约操作优化
树形归约、Warp归约、共享内存归约、原子操作归约
归约原子
14
扫描操作优化
并行扫描、工作高效扫描、全局扫描、分块扫描
扫描并行
15
矩阵乘法优化
朴素实现、共享内存分块、寄存器分块、向量化加载
矩阵分块
16
卷积操作优化
im2col、Winograd、FFT卷积、直接卷积优化
卷积im2col
17
稀疏操作优化
稀疏矩阵存储格式、CSR、COO、ELL、稀疏矩阵乘法
稀疏CSR
18
原子操作与锁
原子函数、原子CAS、自定义原子操作、全局锁
原子锁
19
动态并行
动态并行原理、子核函数、递归核函数、限制与注意事项
动态并行递归
20
CUDA图
CUDA图原理、图捕获、图执行、图更新、图优化
CUDA图捕获
21
多GPU编程
多GPU通信、点对点访问、NCCL基础、多GPU同步
多GPUNCCL
22
NVIDIA Nsight工具
Nsight Systems、Nsight Compute、性能分析、瓶颈定位
Nsight性能
23
CUDA数学库
cuBLAS、cuFFT、cuSPARSE、cuSOLVER、Thrust
cuBLAScuFFT
24
Tensor Core编程
Tensor Core原理、WMMA API、混合精度训练、cuBLAS使用
Tensor Core混合精度
25
CUDA与Python
PyCUDA、CuPy、Numba CUDA、JAX
PythonPyCUDA
26
深度学习框架中的CUDA
PyTorch CUDA扩展、TensorFlow自定义Op、算子融合
PyTorchTensorFlow
27
显存泄漏检测
cuda-memcheck、compute-sanitizer、valgrind、自定义检测
泄漏检测
28
显存碎片化处理
碎片化原因、预分配策略、内存池管理、碎片整理
碎片内存池
29
显存交换与卸载
CPU-GPU显存交换、统一内存交换、NVLink交换、分布式卸载
交换卸载
30
综合案例
大模型训练显存优化、推理显存优化、端到端性能调优
大模型调优