第1章
CUDA入门
GPU计算演进 · CUDA定位 · 环境搭建 (驱动/Toolkit/CMake)
历史配置
第2章
GPU架构基础
CPU→GPU思维 · SM与Warp · 内存层次 (Global/Shared/Register)
架构内存
第3章
第一个CUDA程序
Hello GPU · 核函数定义 · <<<grid,block>>> 语法
入门Kernel
第4章
线程层次结构
Grid/Block/Thread映射 · threadIdx/blockIdx · 多维索引
线程索引
第5章
并行归约与同步
归约算法 · __syncthreads · Warp原语 · atomicAdd
同步原子
第6章
共享内存优化
声明与生命周期 · Bank Conflict · Padding/Swizzle · 动态分配
共享内存优化
第7章
常量内存与纹理内存
__constant__ · 缓存机制 · 纹理只读/插值 · Surface
常量纹理
第8章
流与并发执行
CUDA Stream · 默认/非阻塞 · 回调与事件 · 计算重叠
并发Stream
第9章
CUDA事件与性能测量
cudaEvent_t · 时间差 · 带宽估算 · Nsight Systems
性能分析
第10章
矩阵乘法优化 (上)
朴素实现 · 共享内存分块 · Bank Conflict · 寄存器优化
矩阵Tiling
第11章
矩阵乘法优化 (下)
Warp Tile · 双缓冲 · cuBLAS对比 · 自动调优
cuBLAS调优
第12章
CUDA统一内存
UM原理 · cudaMallocManaged · 页面迁移 · 性能陷阱
UM统一内存
第13章
CUDA动态并行
动态并行概念 · 子网格启动 · 递归核函数 · 调试
动态递归
第14章
CUDA图(Graph)执行
Graph构建 · 捕获模式 · 重放与更新 · 性能收益
Graph捕获
第15章
CUDA库与工具链
cuFFT · cuBLAS/cuSPARSE · Thrust · Nsight Compute
库工具
第16章
CUDA与Python集成
PyCUDA/Numba · cuda.jit · Grid/Block配置 · 混合编程
PythonNumba
第17章
CUDA错误处理
cudaError_t · 错误码 · 同步/异步错误 · 断言调试
调试错误
第18章
CUDA数学函数
内置函数 · __sinf/__expf · 精度权衡 · 自定义设备函数
数学intrinsic
第19章
CUDA随机数生成
cuRAND · Philox算法 · 并行生成 · 核函数内随机
随机cuRAND
第20章
CUDA稀疏矩阵
CSR/COO/ELL · cuSPARSE · SpMV · SpMM
稀疏SpMV
第21章
CUDA卷积操作
im2col · 共享内存卷积 · cuDNN · Winograd
卷积cuDNN
第22章
CUDA排序与搜索
基数排序 · 双调排序 · Thrust排序 · 二分搜索
排序搜索
第23章
CUDA前缀和(Scan)
Hillis-Steele · Blelloch · Bank优化 · Warp级Scan
Scan前缀和
第24章
CUDA直方图计算
原子操作 · 共享内存 · 私有化 · 多通道
直方图原子
第25章
CUDA图像处理
图像读取 · Sobel边缘 · 高斯滤波 · 色彩空间转换
图像滤波
第26章
CUDA深度学习算子
ReLU/Sigmoid · BatchNorm · LayerNorm · Softmax
深度学习算子
第27章
多GPU编程
cudaSetDevice · P2P通信 · 多Stream同步 · NCCL
多GPUNCCL
第28章
低精度计算
FP16/BF16 · Tensor Core · 混合精度 · Compute Capability
低精度Tensor Core
第29章
性能调优策略
Occupancy · ILP · 循环展开 · 编译器标志
调优Occupancy
第30章
CUDA实战项目
向量加法库 · 自定义ReLU · 卷积层 · 性能报告
项目实战