第1章
CUDA入门
GPU架构概述 · CUDA编程模型 · 环境搭建 (驱动/Toolkit/Nsight)
基础环境
第2章
CUDA编程基础
主机与设备 · 核函数 · 线程层次 · <<<>>> 语法
核心线程
第3章
内存模型
全局/共享/寄存器/本地/常量/纹理内存
存储层次
第4章
线程同步与协作
__syncthreads · 原子操作 · Warp Shuffle
同步协作
第5章
CUDA流与事件
流(Stream) · 异步并发 · 事件计时与同步
并发异步
第6章
性能分析基础
Nsight Compute · Occupancy · 带宽瓶颈
调优Profiling
第7章
全局内存访问优化
合并访问 · 对齐 · 数据预取
带宽合并
第8章
共享内存优化
Bank Conflict · Padding · 协同策略
共享冲突
第9章
寄存器优化
寄存器压力 · 循环展开 · 编译器选项
寄存器编译
第10章
Warp级别优化
Warp Divergence · 聚合 · Shuffle应用
Warp分支
第11章
指令级优化
FMA融合 · Intrinsics · 快速数学函数
指令内建
第12章
循环优化
循环合并 · 分块(Tiling) · 不变代码外提
循环分块
第13章
归约操作优化
树形归约 · Warp级 · 共享内存归约
归约并行
第14章
扫描操作优化
Hillis-Steele · Blelloch · 高效实现
扫描前缀和
第15章
矩阵乘法优化
Naive · Tiling · 共享/寄存器分块
GEMM分块
第16章
卷积操作优化
Im2Col · Winograd · 直接卷积
卷积算法
第17章
池化与激活函数优化
Max/Avg Pooling · ReLU & 变体
池化激活
第18章
Softmax与LayerNorm优化
数值稳定 · 并行归约 · 融合实现
归一化稳定
第19章
Embedding与Gather优化
稀疏访问 · 缓存友好策略
嵌入稀疏
第20章
Attention机制优化
FlashAttention · 分块 · Online Softmax
AttentionTransformer
第21章
Transformer算子融合
QKV投影融合 · FFN融合 · LayerNorm融合
融合Transformer
第22章
CUTLASS库使用
架构 · Gemm实现 · 自定义Epilogue
CUTLASS库
第23章
cuBLAS与cuDNN调用
库选择 · Workspace管理 · 最佳实践
cuBLAScuDNN
第24章
自定义算子开发
PyTorch C++ Extension · CUDA Extension · Autograd
扩展PyTorch
第25章
算子调试技巧
cuda-gdb · cuda-memcheck · printf调试
调试检查
第26章
错误处理与健壮性
错误码检查 · 异常安全 · 内存泄漏检测
健壮错误
第27章
多GPU编程
点对点通信 · NVLink · 多流并发
多GPUNVLink
第28章
CUDA Graph优化
Graph捕获 · 重放 · 动态图优化
Graph捕获
第29章
Tensor Core编程
WMMA API · mma.sync · 混合精度训练
Tensor Core混合精度
第30章
NVIDIA Nsight深度学习分析
Profiling流程 · 瓶颈定位 · 端到端优化
Nsight分析