01
CUDA编程模型回顾
GPU架构概览 · 线程层次结构 · 内存层次结构 · 编译与执行流程
基础线程内存
02
算子开发环境搭建
NVIDIA驱动 · CUDA Toolkit · cuDNN/TensorRT · Nsight · CMake
环境工具链
03
高效内存访问模式
合并访问 · 共享内存Bank Conflict · 只读缓存与常量内存
内存优化
04
Warp级别原语与同步
Shuffle指令 · Warp级归约 · 协作组编程
Warp同步
05
原子操作与锁机制
atomicAdd/CAS · 共享内存原子操作 · 自定义锁 · Lock-Free
原子并发
06
流与并发执行
Stream管理 · 回调与事件 · 多Stream并发 · MPS/MIG
流并发
07
动态并行
子核启动 · 父子同步 · 递归/树形算法 · 限制与性能
动态递归
08
统一内存
UM编程模型 · Page Fault · Prefetching/Advise · 对比手动管理
UM内存
09
CUDA Graph
Graph创建 · Stream Capture · 更新重放 · 动态图与条件节点
Graph优化
10
Tensor Core编程
硬件原理 · WMMA API · Implicit/Explicit GEMM · 混合精度
Tensor CoreFP16
11
稀疏矩阵运算 SpMV
CSR/COO/ELL · 共享内存优化 · Half-vectorization · cuSPARSE
稀疏SpMV
12
卷积算子 im2col & Winograd
im2col+GEMM · Winograd推导 · Fused卷积 · cuDNN对比
卷积Winograd
13
Transformer核心算子
LayerNorm/RMSNorm · Online Softmax · FlashAttention · Fused MHA
TransformerAttention
14
Reduce与Scan原语
Warp/Block Reduce · Prefix Sum · Kogge-Stone/Brent-Kung · Grid-wide
ReduceScan
15
排序算法 Radix Sort
并行Radix Sort · Histogram/Scan · Block-level · 大规模调优
排序Radix
16
自定义激活与损失函数
GELU/SwiGLU · CrossEntropy Fused · Log-Softmax · 梯度反向
激活损失
17
算子融合 Kernel Fusion
Fusion策略 · NVRTC动态融合 · TVM/Ansor自动调度
融合JIT
18
CUDA C++新特性
CUDA 12.x · __grid_constant · C++17/20 · std::mdspan
C++新特性
19
CUDA与Python互操作
PyTorch C++ Extension · CuPy · Numba CUDA · Python C-API
Python互操作
20
多GPU编程
P2P通信 · NCCL AllReduce/Broadcast · 多GPU协同 · NVLink拓扑
多GPUNCCL
21
CUDA错误处理与调试
cudaError_t · cuda-gdb · Nsight Compute · compute-sanitizer
调试错误
22
性能分析与调优方法论
Roofline Model · Occupancy · ILP/TLP平衡 · 瓶颈定位
性能调优
23
自定义内存分配器
Caching Allocator · Sub-allocation · cuMemAddressReserve · PyTorch对比
内存分配器
24
CUDA与RDMA/GPUDirect
GPUDirect P2P/RDMA · cuFile/GDS · Magnum IO · 分布式通信
RDMAGPUDirect
25
图神经网络 GNN 算子
GCN/GAT Kernel · 消息传递 · 邻居采样 · dgl自定义算子
GNN图
26
量化算子 INT8/INT4
对称/非对称量化 · INT8 GEMM · Per-tensor/Channel · QAT算子
量化INT8
27
CUDA与Ray Tracing (OptiX)
OptiX Pipeline · RayGen/AnyHit/ClosestHit · CUDA交互 · 实时光追
OptiX光线追踪
28
CUDA与AI推理部署
TensorRT Plugin · ONNX Runtime · Triton后端 · 动态Shape
推理部署
29
CUDA与科学计算
cuFFT回调 · cuBLAS Epilogue · Monte Carlo · cuRAND调优
科学计算FFT
30
CUDA算子库开发与发布
工程结构 · CMake配置 · CI/CD · PyPI/Conda打包
工程发布