第1章
AI训练与GPU计算基础
为什么需要GPU？GPU架构概览（SM、Warp、Memory Hierarchy），AI训练中的计算模式（矩阵乘法、卷积、归一化）。
GPU架构计算模式
第2章
CUDA编程模型入门
Host与Device，Kernel函数定义与启动，线程层次结构（Grid、Block、Thread），第一个向量加法Kernel。
CUDAKernel
第3章
GPU内存模型详解
全局内存、共享内存、寄存器、本地内存、常量内存、纹理内存，各内存的延迟与带宽对比。
内存层次带宽
第4章
内存访问模式优化
合并访问（Coalesced Access），对齐与跨步访问，共享内存Bank Conflict，内存事务与缓存行。
合并访问Bank Conflict
第5章
Warp与线程束执行
Warp调度机制，Warp Divergence（分支发散）及其影响，Occupancy（占用率）计算与优化。
WarpOccupancy
第6章
共享内存与同步
__syncthreads() 使用，共享内存动态分配，Tile算法（分块矩阵乘法），共享内存上的归约操作。
同步Tile
第7章
寄存器与本地内存优化
寄存器溢出（Register Spilling），循环展开（Loop Unrolling），指令级并行（ILP）。
寄存器ILP
第8章
原子操作与锁
atomicAdd/Sub/Exch，自定义原子操作，GPU上的锁与互斥，原子操作的性能陷阱。
原子操作锁
第9章
Stream与异步并发
CUDA Stream概念，异步内存拷贝，Stream与Kernel并发执行，多Stream调度与MPS。
Stream异步
第10章
CUDA事件与性能分析
事件计时，NVIDIA Nsight Systems/Compute使用，Kernel Profiling与瓶颈定位。
ProfilingNsight
第11章
矩阵乘法优化（上）
Naive实现，共享内存分块（Tiling），Bank Conflict消除，向量化加载（float4）。
GEMMTiling
第12章
矩阵乘法优化（下）
Warp Tile与Tensor Core，CUTLASS库原理，cuBLAS与cuDNN的调用策略。
Tensor CoreCUTLASS
第13章
卷积算子优化（上）
im2col算法，Winograd算法，直接卷积实现，内存布局（NHWC vs NCHW）。
卷积Winograd
第14章
卷积算子优化（下）
Fused Convolution（融合卷积+BN+ReLU），Depthwise/Separable卷积优化，cuDNN调优。
融合Depthwise
第15章
归一化算子优化
Batch Normalization前向/反向，Layer Normalization，Instance Normalization，融合Kernel设计。
Normalization融合
第16章
激活函数与损失函数
ReLU及其变体（Leaky/GELU/Swish），Softmax数值稳定性，CrossEntropy与Focal Loss。
激活函数Softmax
第17章
Dropout与正则化
Dropout实现与反向传播，Fused Dropout，L1/L2正则化在GPU上的实现。
Dropout正则化
第18章
Embedding与Lookup Table
Embedding Kernel优化，稀疏梯度更新，混合精度下的Embedding。
Embedding稀疏
第19章
Attention机制优化（上）
Scaled Dot-Product Attention，Masked Attention，FlashAttention原理。
AttentionFlashAttention
第20章
Attention机制优化（下）
FlashAttention实现细节，Memory Efficient Attention，PagedAttention与vLLM。
PagedAttentionvLLM
第21章
混合精度训练（AMP）
FP16/BF16/FP8格式，Loss Scaling，Master Weights，Tensor Core使用。
AMPFP8
第22章
分布式训练基础
数据并行（Data Parallelism），模型并行（Model Parallelism），Pipeline Parallelism。
分布式Pipeline
第23章
AllReduce与通信优化
Ring AllReduce，NCCL库使用，Fused Communication，梯度压缩。
NCCLAllReduce
第24章
算子融合（Kernel Fusion）
Horizontal Fusion，Vertical Fusion，自动融合框架（TVM/XLA）。
FusionTVM
第25章
自动调优与AutoTuning
OpenTuner/Ansor原理，Cost Model，搜索空间设计，硬件感知调优。
AutoTuningAnsor
第26章
CUDA Graph与静态调度
CUDA Graph捕获与重放，动态图 vs 静态图，Graph优化技巧。
CUDA Graph静态调度
第27章
自定义算子开发（PyTorch）
C++ Extension编写，torch.autograd.Function，JIT编译与部署。
PyTorchC++ Extension
第28章
自定义算子开发（TensorFlow）
TF Op定义，Gradient注册，XLA编译集成。
TensorFlowXLA
第29章
性能基准测试与Profiling
Roofline Model分析，带宽与计算瓶颈判断，性能回归测试。
Roofline基准测试
第30章
实战项目：端到端优化Transformer Block
从PyTorch实现到手工CUDA Kernel，融合所有优化技巧，性能对比与报告。
Transformer实战