第1章
CUDA入门
GPU架构概览 · CUDA编程模型 · Hello World从CPU到GPU
入门基础
第2章
线程层次结构
Grid/Block/Thread · 一维/二维/三维索引计算
线程索引
第3章
内存模型 (上)
全局内存 · 共享内存 · 寄存器 · 本地/常量/纹理内存
存储层次
第4章
内存模型 (下)
访问模式 · 合并访问 · Bank Conflict · 带宽计算
优化带宽
第5章
CUDA流与事件
流的概念/创建/销毁 · 同步 · 事件计时 · 多流
并发异步
第6章
同步机制
__syncthreads() · 原子操作 · 锁/临界区 · 网格级同步
同步原子
第7章
归约操作优化
树形归约 · Warp Shuffle · 共享内存 · 多Block归约
归约Shuffle
第8章
矩阵乘法优化
Naive · 共享内存分块 · Tiling · 寄存器优化
GEMM分块
第9章
卷积算子优化
im2col · Winograd · Fused Convolution · cuDNN对比
卷积im2col
第10章
池化与激活函数
MaxPooling · AveragePooling · ReLU/LeakyReLU CUDA实现
池化激活
第11章
Batch Normalization
前向/反向CUDA · 融合BN · 半精度优化
BN融合
第12章
Softmax与CrossEntropy
数值稳定性 · Online Softmax · Warp级Softmax
SoftmaxWarp
第13章
Embedding与Gather
稀疏操作优化 · 哈希表 · GPU Lookup Table
稀疏Embedding
第14章
Dropout与LayerNorm
随机数生成 · Fused Dropout · LayerNorm CUDA
正则LayerNorm
第15章
Attention机制
Self-Attention · Masked Attention · FlashAttention原理
AttentionTransformer
第16章
FlashAttention详解
分块策略 · Online Softmax · IO感知 · Forward/Backward
FlashIO
第17章
Transformer算子融合
QKV投影融合 · FFN融合 · LayerNorm+Add融合
融合Transformer
第18章
Warp Shuffle深入
Shuffle指令 · Warp级归约/Scan · 与共享内存对比
ShuffleWarp
第19章
CUDA Graph
图捕获/重放 · 动态图 · 与Stream对比 · 应用场景
Graph捕获
第20章
NCCL与多卡通信
AllReduce/AllGather/ReduceScatter · Ring/Tree算法
NCCL多卡
第21章
CUDA Kernel Profiling
Nsight Systems · Nsight Compute · 性能指标 · 瓶颈定位
ProfilingNsight
第22章
Occupancy与Launch Config
Occupancy计算 · BlockSize/GridSize选择 · 寄存器压力
Occupancy配置
第23章
指令级优化
FMA融合 · Intrinsic函数 · __ldg() · __fmaf_rn() · PTX内联
指令PTX
第24章
半精度与混合精度
FP16/BF16/TF32 · AMP · 混合精度Kernel实现
FP16混合精度
第25章
稀疏计算优化
CSR/COO · SpMV · SpMM · 结构化稀疏
稀疏SpMM
第26章
自定义Kernel编写技巧
模板元编程 · SFINAE · CUB库 · cuBLAS/cuDNN回调
模板CUB
第27章
动态形状与动态图
动态Batch/序列长度 · Padding策略 · Variable Length
动态形状
第28章
CUDA与PyTorch集成
自定义Autograd Function · C++ Extension · JIT/AOT编译
PyTorchExtension
第29章
算子库架构设计
算子注册 · 调度策略 · Kernel选择 · Auto-tuning · JIT框架
架构Auto-tuning
第30章
端到端实战
PyTorch模型→自定义CUDA算子 · 性能调优 · 部署测试
实战全流程