01
CUDA入门
GPU计算发展史 · CUDA应用场景 · 开发环境搭建 (驱动、Toolkit、cuDNN)
环境概念
02
GPU架构基础
GPU vs CPU · SM/SP/Warp · 内存层次结构 (全局/共享/寄存器/本地)
硬件内存
03
CUDA编程模型
主机与设备 · Kernel函数 · 线程层次 (Grid/Block/Thread) · <<<>>>语法
核心线程
04
第一个CUDA程序
Hello World Kernel · nvcc编译 · 运行时/驱动API · 错误检查
入门编译
05
线程索引计算
1D/2D/3D索引公式 · blockIdx/threadIdx · gridDim/blockDim
索引公式
06
向量加法实现
CPU vs GPU · cudaMemcpy · Kernel实现 · 性能初步分析
入门内存
07
矩阵乘法基础
CPU实现 · GPU朴素实现 · 线程块划分 · 边界处理
算法并行
08
共享内存优化
共享内存声明 · Bank Conflict · 矩阵乘法优化 · __syncthreads()
优化同步
09
全局内存合并访问
合并访问条件 · 对齐要求 · 矩阵转置优化 · 性能对比
内存带宽
10
常量内存与纹理内存
__constant__ · 纹理内存场景 · 1D/2D纹理 · 性能特点
只读缓存
11
原子操作
atomicAdd · 直方图计算 · 性能开销 · 替代方案
原子同步
12
流与并发执行
CUDA流 · 多流并发 · 流同步 · Event · 流水线优化
并发异步
13
CUDA事件计时
事件创建/销毁 · 记录与同步 · elapsed time · 性能工具对比
计时分析
14
CUDA错误处理
错误码 · cudaGetLastError · cudaPeekAtLastError · 异常安全
调试健壮
15
CUDA工具链
nvcc选项 · cuobjdump · nvidia-smi · Nsight Systems
工具分析
16
CUDA数学库
cuBLAS · cuFFT · cuRAND · cuSPARSE
库高性能
17
归约操作优化
树形归约 · warp shuffle · warp/block级归约 · 原子归约对比
归约shuffle
18
前缀和 (Scan)
Hillis-Steele · Blelloch · 高效实现 · Bank Conflict避免
Scan并行
19
直方图计算
原子操作实现 · 共享内存优化 · 多直方图 · 性能调优
直方图优化
20
稀疏矩阵计算
CSR格式 · SpMV实现 · 性能优化 · cuSPARSE
稀疏线性代数
21
图像处理应用
灰度转换 · 高斯滤波 · Sobel边缘检测 · CUDA实现
图像滤波
22
深度学习卷积
im2col · 卷积Kernel · 共享内存优化 · cuDNN对比
卷积深度学习
23
动态并行
动态并行概念 · 子Kernel启动 · 同步机制 · 使用场景与限制
动态嵌套
24
CUDA统一内存
统一内存概念 · 内存迁移 · prefetch · 性能考虑
统一内存易用
25
多GPU编程
多GPU检测 · 点对点通信 · 多GPU归约 · 负载均衡
多GPU扩展
26
CUDA与OpenGL互操作
图形互操作 · 注册Buffer · 映射/取消映射 · 实时渲染
互操作图形
27
CUDA与Python
PyCUDA · Numba CUDA · CuPy · 性能对比
Python胶水
28
CUDA调试技巧
cuda-gdb · cuda-memcheck · Nsight调试 · 常见错误排查
调试排查
29
CUDA性能优化总结
Occupancy · 指令级并行 · 循环展开 · 编译器选项
优化终极
30
CUDA实战项目
项目设计 · 性能目标 · 迭代优化 · 最终评估与总结
项目综合