01
核函数基础
什么是核函数 · 在GPU编程中的角色 · CUDA编程模型回顾
概念CUDA
02
内存访问模式优化
全局内存合并访问 · 共享内存bank冲突 · 常量内存与纹理内存
内存性能
03
线程束发散优化
线程束(warp)执行模型 · 分支发散原因与影响 · 数据重排减少发散
warp分支
04
共享内存优化
共享内存分配与使用 · 动态共享内存 · 共享内存与寄存器权衡
共享内存权衡
05
寄存器优化
寄存器压力与溢出 · 减少寄存器使用技巧 · __launch_bounds__指令
寄存器编译
06
循环展开优化
循环展开原理 · 手动与编译器展开 · 展开因子选择
循环展开
07
原子操作优化
原子操作类型 · 性能瓶颈 · 使用共享内存减少原子操作
原子同步
08
流与并发执行
CUDA流概念 · 多流并发执行 · 流回调与事件同步
流并发
09
异步数据传输
页锁定内存 · 异步内存拷贝 · 计算与传输重叠
异步传输
10
动态并行
动态并行概念 · 嵌套核函数调用 · 应用场景
动态嵌套
11
CUDA图优化
CUDA图定义与创建 · 图捕获与实例化 · 性能优势
图捕获
12
统一内存优化
统一内存(UM)工作原理 · 页面迁移 · UM与手动管理对比
UM迁移
13
矩阵乘法优化(基础)
朴素矩阵乘法 · 共享内存分块 · 分块大小选择
矩阵分块
14
矩阵乘法优化(进阶)
寄存器分块 · 向量化加载 · 张量核心(Tensor Core)
Tensor Core向量化
15
卷积操作优化
im2col方法 · 直接卷积核函数 · cuDNN库
卷积cuDNN
16
归约操作优化
树形归约 · 线程束级归约 · 避免bank冲突
归约warp
17
扫描操作优化
并行扫描 · Kogge-Stone · Brent-Kung扫描
扫描并行
18
排序算法优化
奇偶排序 · 双调排序 · 基数排序GPU实现
排序GPU
19
稀疏矩阵运算
CSR格式 · 稀疏矩阵向量乘法(SpMV) · 优化策略
稀疏SpMV
20
图算法优化
BFS的GPU实现 · PageRank · 负载均衡
图算法BFS
21
深度学习算子优化
ReLU, Sigmoid · Batch Normalization核函数实现
激活函数BN
22
池化操作优化
最大池化 · 平均池化 · 全局池化GPU实现
池化下采样
23
Softmax优化
朴素Softmax · 数值稳定性 · warp级原语优化
Softmaxwarp
24
Attention机制优化
Self-Attention GPU实现 · FlashAttention原理 · 分块策略
AttentionFlash
25
Transformer推理优化
KV Cache优化 · 融合算子 · TensorRT部署
Transformer推理
26
多GPU编程
多GPU编程模型 · 点对点通信 · NCCL库
多GPUNCCL
27
性能分析工具
Nsight Systems · Nsight Compute · 性能瓶颈定位
分析Nsight
28
编译器优化
nvcc编译器选项 · PTX与SASS分析 · 内联PTX汇编
编译PTX
29
混合精度训练
FP16/BF16原理 · 混合精度训练流程 · AMP库
混合精度AMP
30
实战项目：端到端推理优化
图像分类模型推理优化 · PyTorch模型到优化CUDA核函数
实战推理