第01章
CUDA入门
GPU架构演进 · 编程模型 · 环境搭建 (驱动/CUDA Toolkit/cuDNN)
入门环境
第02章
CUDA编程基础
主机与设备 · Kernel编写 · 线程层次 <<<>>> 语法
核心线程
第03章
CUDA内存模型
全局/共享/寄存器/本地/常量/纹理内存
内存优化
第04章
CUDA并行计算基础
向量加法 · 矩阵乘法 · nvprof/Nsight Systems
并行工具
第05章
CUDA流与事件
流概念 · 创建/销毁 · 同步 · 事件计时 · 优先级
异步并发
第06章
共享内存优化
Bank Conflict · 避免策略 · 动态分配
共享内存调优
第07章
全局内存访问优化
合并访问 · 对齐 · 数据布局影响
带宽合并
第08章
CUDA原子操作
atomicAdd · 性能开销 · 自定义原子
原子同步
第09章
CUDA归约(Reduce)优化
树形归约 · Warp Shuffle · 共享内存 · 多Block
归约Shuffle
第10章
CUDA扫描(Scan)算法
Hillis-Steele · Blelloch · 高效实现
扫描并行
第11章
CUDA排序算法
Radix Sort · Merge Sort · Bitonic Sort 对比
排序高性能
第12章
CUDA卷积实现
im2col · 直接卷积 · FFT · Winograd
卷积im2col
第13章
cuBLAS库实战
cublasGemmEx · 批处理 · 混合精度
cuBLASGEMM
第14章
cuDNN库实战
卷积 · 池化 · 激活 · Batch Normalization
cuDNN深度学习
第15章
TensorRT模型优化
FP16/INT8量化 · 层融合 · 动态形状 · ONNX部署
TensorRT推理
第16章
CUDA Graph优化
Graph捕获/实例化 · 更新 · 多流 · 动态Graph
Graph捕获
第17章
CUDA Unified Memory
统一内存原理 · page fault · 性能调优
统一内存迁移
第18章
CUDA多GPU编程
P2P · NCCL · 多GPU AllReduce
多GPUNCCL
第19章
CUDA与PyTorch集成
自定义CUDA扩展 · torch.utils.cpp_extension · Autograd
PyTorch扩展
第20章
CUDA与TensorFlow集成
自定义Op/Kernel · Gradient注册 · TF-TRT
TensorFlow自定义Op
第21章
CUDA与JAX集成
jax.custom_jvp · jax.lax · XLA编译
JAXXLA
第22章
CUDA Debug & Profiling
cuda-gdb · Nsight Compute · Memory Checker
调试Profiling
第23章
CUDA数学库
cuRAND · cuFFT · cuSPARSE
cuRANDcuFFT
第24章
CUDA图神经网络(GNN)优化
GCN/GAT实现 · 消息传递 · 稀疏注意力
GNN稀疏
第25章
CUDA Transformer优化
Flash Attention · Fused Kernel · KV Cache
TransformerAttention
第26章
CUDA混合精度训练
FP16技巧 · Loss Scaling · BF16/TF32 · AMP
混合精度AMP
第27章
CUDA分布式训练
数据并行 · 模型并行 · 流水线并行 · ZeRO
分布式ZeRO
第28章
CUDA算子融合(Fusion)
Horizontal/Vertical Fusion · Triton DSL
融合Triton
第29章
CUDA性能调优实战
Occupancy · ILP · Warp调度 · 寄存器压力
调优Occupancy
第30章
CUDA前沿技术
CUDA 12 · Hopper H100 · DPX · CUDA Quantum
前沿H100