第01章
CUDA入门
GPU架构概述 · CUDA编程模型 · 环境搭建 (驱动/Toolkit/cuDNN)
入门环境
第02章
CUDA编程基础
主机与设备 · 核函数 · 线程层次 · <<<>>> 语法
核心线程
第03章
内存模型
全局/共享/寄存器/本地/常量/纹理内存
存储层次
第04章
向量加法实战
CPU→GPU版本 · 性能对比 · 带宽计算
实战带宽
第05章
矩阵乘法基础
朴素实现 · 共享内存优化 · Bank Conflict避免
优化共享内存
第06章
归约操作
并行归约 · 交错/顺序寻址 · warp级归约
归约Warp
第07章
原子操作
原子函数 · 直方图统计 · 锁机制
原子同步
第08章
流与并发
CUDA Stream · 异步操作 · 多流并发 · Event
并发流
第09章
统一内存 (UM)
Unified Memory · 页面错误 · 迁移与调优
UM迁移
第10章
CUDA库
cuBLAS · cuFFT · cuRAND · Thrust
库cuBLAS
第11章
性能分析工具
nvprof / Nsight Systems · Nsight Compute · 瓶颈定位
工具分析
第12章
Occupancy优化
占用率计算 · 寄存器压力 · block大小选择
占用率调优
第13章
内存访问模式
合并访问 · 对齐 · 跨步访问优化
访存合并
第14章
Warp与SIMT
Warp执行模型 · 分支发散 · Warp Shuffle
SIMTShuffle
第15章
共享内存进阶
动态共享内存 · Bank冲突详解 · Padding
BankPadding
第16章
常量内存与纹理内存
只读缓存 · 纹理对象 · 表面内存
纹理只读
第17章
CUDA动态并行
GPU端启动核函数 · 递归 · Graph执行
动态图
第18章
多GPU编程
点对点通信 · 多GPU协同 · NCCL入门
多GPUNCCL
第19章
CUDA与Python
PyCUDA · Numba CUDA · CuPy
PythonCuPy
第20章
卷积算子优化
im2col · Winograd · FFT卷积 · cuDNN对比
卷积Winograd
第21章
池化算子优化
最大池化 · 平均池化 · 自适应池化
池化下采样
第22章
激活函数算子
ReLU · Sigmoid · Tanh · GELU的CUDA实现
激活GELU
第23章
BatchNorm算子
前向与反向 · 融合实现 · 半精度支持
BN融合
第24章
LayerNorm算子
行归一化 · 列归一化 · 融合优化
LN归一化
第25章
Softmax算子
数值稳定性 · Online Softmax · Warp实现
SoftmaxOnline
第26章
Attention算子
Self-Attention · FlashAttention原理 · 分块策略
AttentionFlash
第27章
Reduce优化进阶
Warp Shuffle Reduce · Block Reduce · 全局Reduce
ReduceShuffle
第28章
Fused Kernel
算子融合策略 · Element-wise融合 · 访存优化
融合访存
第29章
CUDA Graph
图捕获 · 图重放 · 动态图 · 性能收益
Graph捕获
第30章
实战项目
从零实现高性能Transformer推理算子库
项目Transformer