第01章
CUDA初探
什么是GPU计算 · CUDA诞生背景 · 为什么选择CUDA
概念背景
第02章
开发环境搭建
安装NVIDIA驱动 · CUDA Toolkit · 配置VS或Nsight
环境工具
第03章
第一个CUDA程序
编写Hello World核函数 · 理解<<<>>>语法
入门语法
第04章
线程层次结构
Grid · Block · Thread 概念与关系
线程层次
第05章
线程索引计算
threadIdx · blockIdx · blockDim · gridDim
索引内置变量
第06章
向量加法实战
从CPU版本到GPU版本的完整迁移
实战迁移
第07章
内存模型概览
全局内存 · 共享内存 · 寄存器 · 本地内存
内存模型
第08章
全局内存访问
cudaMalloc · cudaMemcpy · cudaFree
API全局内存
第09章
共享内存入门
__shared__ 关键字与数据分块
共享内存优化
第10章
同步机制
__syncthreads() 的作用与使用场景
同步协作
第11章
矩阵乘法基础
CPU实现与GPU实现的对比
矩阵对比
第12章
矩阵乘法优化
使用共享内存减少全局内存访问
优化共享内存
第13章
归约操作
并行求和 · 最大值 · 最小值的实现
归约并行
第14章
原子操作
atomicAdd · atomicMin 等函数的使用
原子并发
第15章
流与并发
创建多个流实现任务并行
流并发
第16章
事件与计时
使用cudaEvent测量核函数执行时间
性能计时
第17章
错误处理
cudaGetLastError · cudaError_t
调试错误
第18章
纹理内存
纹理内存的声明与绑定
纹理内存
第19章
常量内存
__constant__ · cudaMemcpyToSymbol
常量只读
第20章
动态并行
在核函数中调用另一个核函数
动态嵌套
第21章
CUDA库简介
cuBLAS · cuFFT · cuRAND 快速上手
库生态
第22章
性能分析工具
Nsight Systems · Nsight Compute 基本使用
工具分析
第23章
带宽与计算吞吐量
如何评估核函数的性能
性能指标
第24章
占用率优化
理解occupancy与block size的关系
占用率调优
第25章
循环展开与指令级并行
减少分支与提高吞吐
循环指令
第26章
Bank Conflict
共享内存的bank冲突与避免方法
冲突共享内存
第27章
统一内存
cudaMallocManaged · 页面错误
统一内存简化
第28章
多GPU编程
cudaSetDevice · 点对点通信
多GPU通信
第29章
CUDA与Python
PyCUDA · Numba 编写CUDA程序
Python互操作
第30章
综合实战
图像卷积的CUDA实现与优化
实战卷积