01
CUDA开发环境搭建
GPU架构概述 · CUDA Toolkit安装 · Nsight工具链配置 · 第一个CUDA程序
环境入门
02
GPU内存层次结构
全局内存 · 共享内存 · 寄存器 · 本地内存 · 常量内存 · 纹理内存
内存架构
03
线程模型与调度
Grid-Block-Thread · 线程束(Warp) · 线程发散与分支预测
线程调度
04
并行归约优化
树形归约 · Warp Shuffle · Bank Conflict避免 · 原子操作优化
归约Shuffle
05
矩阵乘法优化
Naive实现 · 共享内存分块(Tiling) · 向量化加载 · 双缓冲
GEMMTiling
06
卷积算子优化
im2col · Winograd · 直接卷积 · Fused Convolution
卷积im2col
07
访存优化策略
合并访问 · 数据预取 · Padding技巧 · 对齐访问
访存合并
08
流与并发执行
CUDA Stream · 异步操作 · Host-Device并发 · MPS
流并发
09
CUDA Graph优化
Graph捕获与重放 · 依赖管理 · 动态图与静态图
Graph捕获
10
算子融合技术
Kernel Fusion原理 · Element-wise融合 · Reduce融合 · Pointwise融合
融合Fusion
11
CUDA C++新特性
CUDA 12.x · Cooperative Groups · cuda::std::par · Pipeline编程模型
C++新特性
12
NCCL通信优化
AllReduce优化 · Ring算法 · Tree算法 · NVLink与InfiniBand
NCCL通信
13
Tensor Core编程
WMMA API · mma.sync指令 · 混合精度训练 · FP16/BF16/INT8
TensorCore混合精度
14
CUDA Occupancy优化
Occupancy计算 · 寄存器压力 · 共享内存大小 · Launch Bounds
Occupancy调优
15
性能分析工具
Nsight Compute · Nsight Systems · nvprof/ncu · 自定义Profiler
ProfilerNsight
16
CUDA错误处理
错误码检查 · 同步/异步错误 · cuda-gdb · cuda-memcheck
调试错误
17
自定义内存分配器
Caching Allocator · Pool Allocator · Unified Memory优化
分配器内存
18
稀疏算子优化
CSR/COO格式 · SpMV优化 · 稀疏Attention · 结构化稀疏
稀疏SpMV
19
Attention算子优化
FlashAttention原理 · 分块策略 · Online Softmax · IO感知优化
AttentionFlash
20
LayerNorm优化
Welford算法 · Half-Warp归约 · 融合LayerNorm
LayerNormWelford
21
Softmax优化
Online Softmax · Safe Softmax · Warp级实现
SoftmaxOnline
22
GELU/SiLU激活函数优化
多项式近似 · 查表法 · 融合实现
激活近似
23
Embedding算子优化
哈希表实现 · GPU端Embedding · 混合精度Embedding
Embedding哈希
24
Dropout算子优化
Philox随机数生成 · 融合Dropout · 反向传播优化
Dropout随机
25
BatchNorm优化
同步BatchNorm · Fused BatchNorm · 推理优化
BatchNorm融合
26
TopK/采样算子优化
Radix Select · Bitonic Sort · GPU端采样
TopK采样
27
动态形状处理
动态Padding · Variable Length Batching · CUDA Graphs动态形状
动态形状
28
多GPU编程
Peer-to-Peer访问 · NVLink优化 · Ganged Operation
多GPUP2P
29
CUDA与Python集成
PyTorch Custom Operator · CUDA Python · Cupy · Numba
PythonPyTorch
30
端到端优化案例
从PyTorch模型到CUDA算子 · Profiling驱动优化 · 部署最佳实践
实战部署