第1章
CUDA入门
GPU计算演进 · CUDA生态 · 架构概览 · 环境搭建 · Hello World
新手必看GPU
第2章
CUDA编程模型
Host/Device · Kernel · 线程层次 · 内置变量 · 向量加法
核心模型
第3章
CUDA内存模型
全局/共享/寄存器/本地/常量/纹理 · 合并访问
内存层次性能
第4章
CUDA流与事件
流创建/同步 · 事件计时 · 并发执行 · 默认流
并发
第5章
错误处理与调试
cudaGetLastError · Nsight · cuda-gdb · 常见错误
调试
第6章
性能分析基础
Nsight Compute · Occupancy · 吞吐量 · 瓶颈定位
Profiling
第7章
线程束与执行模型
Warp调度 · 分支发散 · Shuffle · Bank Conflict
Warp优化
第8章
共享内存优化
静态/动态分配 · Bank Conflict消除 · 矩阵转置
共享内存
第9章
全局内存访问优化
合并访问 · AoS vs SoA · Padding · 向量化加载
带宽
第10章
寄存器与本地内存优化
寄存器压力 · __launch_bounds__ · Spilling · 技巧
寄存器
第11章
常量内存与纹理内存
__constant__ · 纹理缓存 · 表面内存
只读
第12章
原子操作与互斥
atomicAdd · 互斥锁 · Warp级原子 · 细粒度同步
原子
第13章
CUDA流与并发执行
多流深度/广度 · MPS · Hyper-Q · 异步传输
并发
第14章
事件与同步机制
事件创建/同步 · 流间同步 · 栅栏 · 全局同步
同步
第15章
动态并行
子核函数 · 嵌套执行 · 递归 · 限制与场景
高级
第16章
CUDA库 (cuBLAS/cuFFT/cuRAND)
矩阵乘法 · FFT · 随机数 · 库+自定义混合
库
第17章
统一内存 (UM)
cudaMallocManaged · 页面错误 · Prefetching · Advise
UM
第18章
多GPU编程
P2P · 多GPU流 · All-Reduce · 同步
多GPU
第19章
CUDA+OpenMP/MPI混合编程
CPU-GPU协同 · OpenMP offloading · MPI+CUDA
混合
第20章
CUDA图 (Graph) 编程
图捕获 · 图执行/重放 · 优化 · 动态图
Graph
第21章
Tensor Core编程
WMMA API · 混合精度 · FP16/BF16 · 矩阵乘法加速
Tensor Core
第22章
稀疏计算
CSR/COO · cuSPARSE · SpMV · 自定义稀疏核
稀疏
第23章
归约 (Reduction) 优化
树形归约 · Warp级 · 共享内存 · 多Block
归约
第24章
扫描与排序
前缀和 · Hillis-Steele · 双调排序 · Radix Sort
并行算法
第25章
卷积优化
im2col · Winograd · Tiling · cuDNN · 自定义
卷积
第26章
矩阵乘法优化
Naive · Tiling · 寄存器分块 · 向量化 · cuBLAS
GEMM
第27章
FFT优化
Cooley-Tukey · cuFFT回调 · Batch FFT · 数据重排
FFT
第28章
深度学习算子优化
LayerNorm · Softmax · GELU · Attention · Flash Attention
DL
第29章
图神经网络 (GNN) 算子
GCN · GAT · 消息传递 · cuGraph
GNN
第30章
性能优化综合实战
Roofline Model · Occupancy · 带宽平衡 · GEMM/Stencil
实战巅峰