第01章
GPU架构基础：从SM到Warp
理解GPU的并行执行模型，SM与Warp调度
架构并行
第02章
CUDA编程模型
Kernel函数、线程层次结构、内存层次结构
CUDA线程
第03章
内存访问优化
全局内存合并、共享内存bank conflict、常量/纹理内存
内存带宽
第04章
执行配置优化
Grid/Block大小选择、Occupancy调优、Warp发散
Occupancy配置
第05章
指令级优化
算术吞吐量、intrinsics、循环展开与预取
指令吞吐
第06章
流与并发
CUDA Streams、异步操作、多流重叠
并发Stream
第07章
性能分析工具
Nsight Systems, Nsight Compute, nvprof/nvvp
Profiling工具
第08章
归约操作优化
树形归约、Warp Shuffle、原子操作与锁
归约Shuffle
第09章
矩阵乘法优化
Tiling、寄存器缓存、Tensor Core利用
GEMMTensor Core
第10章
卷积操作优化
im2col、Winograd、cuDNN调用
卷积cuDNN
第11章
稀疏矩阵运算
CSR格式、SpMV优化、稀疏Tensor Core
稀疏SpMV
第12章
图神经网络优化
GCN、GAT的GPU实现与优化
GNNGAT
第13章
Transformer模型优化
Self-Attention、FFN的Kernel融合
TransformerFusion
第14章
FlashAttention原理
IO感知的注意力机制优化
AttentionIO
第15章
算子融合技术
Horizontal与Vertical Fusion、编译器自动融合
Fusion编译器
第16章
CUDA Graph
图捕获与重放、动态图与静态图
CUDA Graph捕获
第17章
多GPU编程
NCCL通信库、点对点通信、AllReduce优化
多GPUNCCL
第18章
混合精度训练
FP16/BF16/FP8、Loss Scaling、混合精度策略
混合精度FP16
第19章
分布式训练优化
数据并行、模型并行、流水线并行
分布式并行
第20章
内存优化
梯度检查点、ZeRO优化器、显存碎片管理
显存ZeRO
第21章
编译优化
TVM、XLA、Triton语言入门
编译Triton
第22章
CUDA内核调试
cuda-gdb、cuda-memcheck、Compute Sanitizer
调试Sanitizer
第23章
数值稳定性
浮点误差、Kahan求和、高精度累加
数值Kahan
第24章
自定义算子开发
PyTorch C++ Extension、CUDA Extension
自定义Extension
第25章
CUDA与Python交互
PyCUDA、Numba CUDA、CuPy
PythonPyCUDA
第26章
GPU虚拟化
MIG、vGPU、GPU池化技术
虚拟化MIG
第27章
边缘端GPU优化
Jetson平台、Tegra架构、功耗优化
边缘Jetson
第28章
GPU集群调度
Slurm配置、任务队列、资源隔离
集群Slurm
第29章
前沿技术
CUTLASS库、CUB库、cuQuantum
CUTLASScuQuantum
第30章
综合实战：从模型到部署
全链路优化案例，端到端实战
实战全链路