第01章
CUDA简介与环境搭建
GPU计算概述 · CUDA架构 · Toolkit安装 · nvcc编译器
环境入门
第02章
CUDA编程模型
主机与设备 · 核函数概念 · 线程层次 · <<<>>>语法
核心线程
第03章
第一个CUDA程序
Hello World核函数 · 编译运行 · 错误检查
实战调试
第04章
线程与块索引
gridDim · blockDim · blockIdx · threadIdx 详解
索引并行
第05章
内存模型概述
全局/共享/寄存器/本地/常量/纹理内存
存储层次
第06章
全局内存访问
cudaMalloc · cudaMemcpy · 内存释放
API数据
第07章
向量加法实战
实现向量加法 · 性能分析 · 带宽计算
入门性能
第08章
矩阵乘法基础
CPU实现 · 朴素GPU · 性能瓶颈分析
算法瓶颈
第09章
共享内存优化
__shared__ · bank conflict · __syncthreads
优化同步
第10章
矩阵乘法优化
共享内存分块 · tile算法 · 性能对比
tile加速
第11章
常量内存与只读缓存
__constant__ · cudaMemcpyToSymbol · 只读缓存
常量缓存
第12章
纹理内存与表面内存
纹理对象 · 纹理引用 · 表面内存使用场景
纹理图像
第13章
流与并发
CUDA流 · 多流并发 · 异步操作 · cudaStream_t
并发异步
第14章
事件与计时
cudaEvent_t · 事件同步 · 精确计时
计时同步
第15章
动态并行
GPU调用GPU核函数 · cudaLaunchDevice · 使用场景
高级嵌套
第16章
CUDA库简介
cuBLAS · cuFFT · cuRAND · Thrust库
库生态
第17章
归约操作优化
并行归约 · 树形归约 · warp shuffle优化
归约shuffle
第18章
原子操作
atomicAdd · 原子函数 · 直方图计算
原子同步
第19章
Warp与线程束
warp执行模型 · divergence · shuffle指令
warp指令
第20章
Occupancy与资源管理
占用率计算 · 寄存器压力 · 块大小选择
占用率调优
第21章
性能分析工具
nvvp · nsys · ncu · 性能瓶颈定位
工具profiling
第22章
CUDA调试技巧
cuda-gdb · cuda-memcheck · 断言与错误处理
调试检查
第23章
统一内存
cudaMallocManaged · 页面迁移 · 性能考量
统一迁移
第24章
多GPU编程
多设备管理 · 点对点通信 · cudaSetDevice
多GPU通信
第25章
CUDA与OpenCV
GPU图像处理 · cv::cuda::GpuMat · 滤波加速
OpenCV图像
第26章
CUDA与深度学习
cuDNN简介 · Tensor Core · 混合精度训练
DLTensor Core
第27章
自定义核函数优化
循环展开 · 向量化加载 · 指令级并行
优化ILP
第28章
CUDA图(Graph)
cudaGraph_t · 图捕获 · 图执行 · 图优化
图调度
第29章
CUDA与Python
PyCUDA · Numba CUDA · cupy入门
Python互操作
第30章
综合实战：高性能卷积
从零优化 · 性能调优全流程 · 卷积实现
实战卷积