01
GPU计算概述
GPU发展简史 · GPU vs CPU架构对比 · AI/HPC应用场景 · 主流GPU生态 (CUDA/ROCm/oneAPI)
基础概念
02
CUDA编程模型
Host/Device · Kernel函数 · 线程层次结构 · 编译与执行流程
CUDA核心
03
CUDA环境搭建
驱动 · CUDA Toolkit · cuDNN · nvcc · Makefile/CMake
环境配置
04
第一个CUDA程序
Hello GPU · 向量加法 · cudaMalloc/cudaMemcpy · 错误检查
入门实战
05
CUDA线程模型深入
线程索引 · Block大小 · Warp/SIMT · Occupancy · Bank Conflict
线程优化
06
共享内存与同步
__shared__ · __syncthreads() · 矩阵转置 · Bank冲突避免
共享内存同步
07
全局内存访问优化
合并访问 · 内存对齐 · __ldg · 常量内存 · 纹理内存
内存带宽
08
CUDA流与事件
Stream概念 · 异步并发 · Event计时 · 多流案例
并发异步
09
CUDA原子操作
atomicAdd · 直方图 · 多线程安全 · 性能替代方案
原子同步
10
CUDA库入门
cuBLAS · cuFFT · cuRAND · cuSPARSE
库高效
11
算子开发基础
算子分类 · Element-wise · Reduce · Scan · 算子融合
算子设计
12
Element-wise算子开发
Sigmoid/ReLU · 向量加/乘 · FMA · 循环展开
逐元素优化
13
Reduce算子开发
并行归约 · Warp Shuffle · 树形优化 · 多Block策略
归约Shuffle
14
Scan算子开发
Prefix Sum · Hillis-Steele · Blelloch · 高效实现
扫描并行
15
矩阵乘法算子开发
Naive · Tiling · Shared Memory · Register Tiling · Tensor Core
GEMMTensorCore
16
卷积算子开发
im2col · Winograd · Direct Convolution · cuDNN对比
卷积算法
17
Softmax算子开发
数值稳定性 · Online Softmax · FlashAttention优化
Softmax稳定
18
LayerNorm/BatchNorm算子
前向/反向 · 均值方差优化 · 融合Kernel
归一化融合
19
Attention算子开发
Scaled Dot-Product · FlashAttention · Memory-bound · 分块
AttentionFlash
20
算子性能调优工具
Nsight Systems · Nsight Compute · nvprof · 性能指标
工具分析
21
算子性能分析实战
Roofline Model · 瓶颈定位 · 带宽/计算受限 · 优化策略
Roofline实战
22
CUDA Graph与算子融合
CUDA Graph · 图捕获 · 算子融合 · Launch Overhead
Graph融合
23
混合精度训练算子
FP16/BF16/FP8 · 混合精度 · Loss Scaling · Tensor Core
混合精度FP8
24
稀疏算子开发
CSR/COO · SpMV/SpMM · 结构化稀疏 · 2:4稀疏
稀疏存储
25
自定义算子与框架集成
PyTorch C++ Extension · TensorFlow自定义Op · ONNX Runtime
框架集成
26
算子自动生成技术
TVM/Ansor · Triton · CUDA JIT · 模板化生成
自动Triton
27
多GPU算子开发
NCCL · AllReduce/AllGather · 模型/数据并行 · P2P
多GPUNCCL
28
算子测试与验证
数值精度 · 性能基准 · Google Test · 回归测试
测试验证
29
算子部署与推理优化
TensorRT · ONNX Runtime · INT8量化 · 推理引擎
部署推理
30
前沿算子与未来趋势
FlashAttention系列 · MLA · MoE算子 · CUDA 12.x新特性
前沿趋势