第1章
CUDA入门
GPU计算概述 · CUDA架构简介 · 开发环境搭建 (Linux/Windows)
基础环境
第2章
CUDA编程模型
主机与设备 · 核函数(Kernel) · 线程层次结构 (Grid/Block/Thread)
核心线程
第3章
CUDA内存模型
全局/共享/寄存器/本地/常量/纹理内存
内存层次
第4章
CUDA基础语法
<<<>>>执行配置 · 内置变量 · 数据类型
语法内置变量
第5章
向量加法实战
CPU版本 → GPU版本 · 逐步优化性能
实战优化
第6章
矩阵乘法基础
CPU矩阵乘法 · GPU朴素矩阵乘法
矩阵基础
第7章
矩阵乘法优化
共享内存分块(Tiling) · Bank Conflict避免
优化共享内存
第8章
归约操作 (Reduction)
并行归约 · 交错寻址与顺序寻址优化
归约优化
第9章
原子操作
atomicAdd/CAS · 直方图统计实战
原子同步
第10章
流与并发
CUDA流(Stream) · 多流并发 · 异步与回调
并发流
第11章
事件与计时
CUDA事件机制 · 精确测量核函数时间
性能计时
第12章
错误处理与调试
错误检查宏 · cuda-gdb · Nsight分析
调试工具
第13章
常量内存与纹理内存
常量内存应用 · 纹理缓存与插值
内存纹理
第14章
动态并行 (Dynamic Parallelism)
GPU端启动核函数 · 递归与嵌套调用
高级动态
第15章
CUDA库入门
cuBLAS矩阵运算 · cuFFT快速傅里叶变换
库cuBLAS
第16章
cuRAND随机数生成
GPU端随机数 · 蒙特卡洛模拟实战
随机模拟
第17章
Thrust模板库
Thrust向量与算法 · 简化CUDA编程
模板Thrust
第18章
统一内存 (Unified Memory)
UM编程模型 · 页面错误与迁移优化
UM内存
第19章
CUDA与Python
PyCUDA入门 · Numba CUDA加速
PythonNumba
第20章
卷积操作
GPU卷积实现 · im2col与cuDNN简介
卷积im2col
第21章
池化与激活函数
Max Pooling GPU · ReLU及其变体
池化激活
第22章
全连接层
前向传播与反向传播 GPU实现
全连接BP
第23章
Softmax与交叉熵
数值稳定性 · GPU并行计算
Softmax损失
第24章
Batch Normalization
训练与推理阶段的GPU实现
BN归一化
第25章
简单神经网络训练
从零实现两层神经网络GPU训练
实战神经网络
第26章
CUDA与深度学习框架
TensorFlow/PyTorch CUDA后端原理
框架后端
第27章
多GPU编程
多GPU通信模式 · NCCL库基础
多GPUNCCL
第28章
CUDA性能优化技巧
内存合并访问 · 占用率优化 · 指令级并行
优化性能
第29章
CUDA与分布式训练
数据并行与模型并行基础
分布式并行
第30章
综合实战
使用CUDA加速图像分类模型训练全过程
实战图像分类