01
CUDA开发环境搭建
GPU架构概述 · CUDA Toolkit安装 · 驱动配置 · nvcc验证 · Nsight工具链
环境入门
02
Hello World核函数
核函数定义 · <<<>>>配置 · 内存模型 · 向量加法实现
基础核函数
03
线程层次结构
grid/block/thread · threadIdx/blockIdx · 线程映射 · warp模型
线程并行
04
全局内存访问
全局内存特性 · 合并访问 · 对齐跨步 · 事务优化
内存性能
05
共享内存基础
声明与生命周期 · bank冲突 · 避免技巧 · __syncthreads
共享内存同步
06
常量内存与纹理内存
__constant__ · 纹理缓存 · __ldg · 适用算子
常量纹理
07
寄存器与本地内存
寄存器溢出 · 本地内存陷阱 · occupancy · maxregcount
寄存器优化
08
流与并发执行
CUDA流创建/销毁 · 同步机制 · 多流并发 · MPS/MIG
并发流
09
事件与计时
cudaEvent_t · 精确计时 · 异步分析 · 流水线重叠
性能分析
10
归约算子优化
树形归约 · warp shuffle · volatile · 全/部分归约
归约shuffle
11
矩阵乘法基础
朴素实现 · tiling · 共享内存分块 · 寄存器缓存
矩阵tiling
12
矩阵乘法进阶
cuBLAS对比 · warp tile · 向量化加载 · 双缓冲
cuBLAS双缓冲
13
卷积算子优化
im2col · 直接卷积 · 共享内存缓存行 · fused卷积
卷积im2col
14
池化算子实现
最大池化 · 平均池化 · 全局池化 · 并行策略
池化下采样
15
激活函数系列
ReLU/Sigmoid/Tanh · 数值稳定性 · 近似计算 · 融合
激活融合
16
Softmax优化
naive实现 · warp级归约 · online softmax · 数值稳定
Softmaxwarp
17
LayerNorm实现
均值方差 · warp归约 · 向量化加载 · 融合LayerNorm
归一化LayerNorm
18
Dropout算子
随机数生成 · Philox · mask生成 · 反向传播
Dropout随机
19
Embedding算子
查找表 · 哈希冲突 · 梯度聚合 · fused embedding
Embedding查找
20
Attention机制
QKV计算 · score · softmax · context · 内存优化
AttentionTransformer
21
FlashAttention原理
tiling策略 · online softmax · IO感知 · block稀疏
FlashIO
22
TopK与排序
radix sort · bitonic sort · warp级排序 · TopK选择
排序TopK
23
Scan算子
prefix sum · warp级scan · block级scan · 并行策略
Scan前缀和
24
ReduceScatter
分布式归约 · ring算法 · NVLink优化 · fused通信
分布式NVLink
25
AllReduce优化
ring AllReduce · tree AllReduce · NVSHMEM · fused kernel
AllReduce通信
26
CUDA Graph
graph创建/执行 · capture模式 · 动态图 · 优化技巧
Graph捕获
27
CUDA与Python集成
PyTorch自定义算子 · CUDA Python · cupy · JIT编译
PythonPyTorch
28
性能分析工具
Nsight Compute · Nsight Systems · rocprofiler · 自定义profiler
分析Nsight
29
算子融合策略
kernel fusion原则 · fused kernel设计 · 模板元编程 · JIT
融合JIT
30
实战项目：LLM推理优化
算子库设计 · benchmark框架 · 部署最佳实践
LLM实战