01
CUDA性能模型概述
理解延迟与吞吐量、计算与访存比、Roofline模型入门。
模型Roofline
02
Profiling工具链介绍
nvprof与Nsight Systems、Nsight Compute的安装与基本使用。
工具Nsight
03
Kernel启动开销分析
分析CPU到GPU的调用延迟、异步与同步执行、Stream的使用。
启动Stream
04
内存带宽瓶颈
Global Memory访问模式、合并访问与对齐、Bank Conflict。
带宽Bank
05
Shared Memory优化
Shared Memory的分配与使用、避免Bank Conflict、Padding技术。
SharedPadding
06
寄存器与Local Memory
寄存器溢出、Local Memory的陷阱、Occupancy与寄存器压力。
寄存器Occupancy
07
Warp发散与分支
Warp执行模型、分支发散的原因与代价、数据重排与重构。
Warp分支
08
Occupancy与Block配置
Occupancy计算、Block与Grid大小选择、Launch Bounds。
BlockGrid
09
指令级并行
ILP的概念、循环展开、减少指令依赖。
ILP展开
10
原子操作与锁
原子操作的性能开销、细粒度锁与无锁编程、Warp级原语。
原子锁
11
CUDA Graphs
图捕获与重放、减少Kernel Launch开销、动态图与静态图。
Graph捕获
12
统一内存与Pinned Memory
Unified Memory的性能陷阱、Pinned Memory与Stream。
UMPinned
13
MPS与MIG
多进程服务、多实例GPU、隔离与性能。
MPSMIG
14
CUDA内核编译优化
编译器选项、PTX与SASS分析、内联PTX。
编译PTX
15
矩阵乘法优化
从Naive到Tiled、使用Tensor Core、cuBLAS对比。
GEMMTensorCore
16
卷积操作优化
im2col、Winograd、cuDNN对比。
卷积cuDNN
17
Reduce与Scan原语
Warp级Reduce、Block级Reduce、全局同步。
ReduceScan
18
稀疏计算优化
稀疏矩阵存储格式、CSR与COO、SpMV优化。
稀疏SpMV
19
图神经网络优化
GNN算子分析、Gather-Scatter模式、内存访问优化。
GNNGather
20
Transformer模型优化
Attention机制、KV Cache、Flash Attention原理。
TransformerFlash
21
Nsight Compute深入
Metrics与Events、Source Correlator、指令级分析。
NsightComputeMetrics
22
Nsight Systems深入
Timeline分析、Trace与Profile、自定义NVTX。
NsightSystemsNVTX
23
性能计数器解读
SM利用率、内存利用率、指令混合比。
计数器SM
24
瓶颈定位方法论
Top-Down分析、瓶颈树、迭代优化流程。
方法论Top-Down
25
常见性能反模式
Host-Device同步过多、小Kernel过多、过度使用原子操作。
反模式同步
26
多GPU编程
点对点通信、NVLink与NVSwitch、多流多设备。
多GPUNVLink
27
CUDA与MPI混合编程
分布式训练、AllReduce优化、NCCL使用。
MPINCCL
28
CUDA与Python
PyCUDA与Numba、CuPy与JAX、Python侧性能开销。
PythonNumba
29
实际案例1：图像处理管线优化
从CPU到GPU全链路。
案例管线
30
实际案例2：LLM推理服务优化
Prefill与Decode阶段。
LLM推理