01
CUDA编程模型回顾
线程层次结构 · 内存层次 · 核函数编写基础
Grid/Block/ThreadGlobal/Shared
02
Warp与SIMT模型
Warp调度 · 发散影响 · Bank Conflict
SIMTBank Conflict
03
Shared Memory优化
分配使用 · Padding · 动态Shared Memory
Padding动态分配
04
全局内存访问优化
合并访问 · 对齐跨步 · cudaMallocPitch/3D
CoalescedPitch
05
寄存器与Local Memory
寄存器溢出检测 · Local Memory陷阱
Register SpillLocal
06
Occupancy与Launch Config
Occupancy计算 · Block/Grid选择 · 权衡
Occupancy配置
07
原子操作与同步
atomicAdd · __syncthreads · Cooperative Groups
原子Grid同步
08
Stream与异步操作
CUDA Stream · 多Stream并发 · Event同步
异步Event
09
CUDA Graph
Graph创建执行 · 捕获模式 · 更新重放
Graph Capture重放
10
CUDA Unified Memory
分配使用 · Page Fault迁移 · 性能调优
Unified Memory迁移
11
CUDA库 (cuBLAS/cuFFT/cuDNN)
cuBLAS矩阵乘 · cuFFT · cuDNN卷积
cuBLAScuFFTcuDNN
12
CUDA与多GPU编程
多GPU识别 · P2P通信 · 协同计算
多GPUP2P
13
CUDA与NCCL
NCCL初始化 · AllReduce/Broadcast · 多节点
NCCL分布式
14
CUDA与Tensor Core
Tensor Core编程 · WMMA API · 混合精度
Tensor CoreFP16/BF16
15
NVIDIA Nsight工具
Nsight Systems · Compute · 性能瓶颈定位
NsightProfiling
16
CUDA C++标准库
Thrust (sort/reduce) · CUB Block-level
ThrustCUB
17
CUDA与纹理内存
纹理绑定 · Texture Object · 应用场景
纹理Texture
18
CUDA与常量内存
常量内存声明 · 广播机制 · 适用场景
常量内存广播
19
CUDA与动态并行
动态并行概念 · 子核函数 · 限制与注意
动态并行子核
20
CUDA Driver API
Driver vs Runtime · Context · Module加载
Driver APIContext
21
CUFFT回调
CUFFT回调函数 · 自定义FFT · 性能考量
CUFFT回调
22
CUSPARSE
CSR/COO · SpMV · 稀疏求解器
稀疏CUSPARSE
23
CUSOLVER
LU/QR/SVD · 稀疏求解 · API示例
CUSOLVER分解
24
CURAND
随机数生成 · 均匀/正态 · 多GPU
CURAND随机
25
NVIDIA DALI
数据加载 · GPU增强 · PyTorch/TF集成
DALI数据增强
26
CUDA Python (Numba)
Numba装饰器 · 共享内存 · 对比原生
NumbaPython
27
PyTorch自定义算子
C++ Extension · Autograd · 前后向
PyTorch自定义
28
TensorFlow自定义算子
Op注册 · GPU Kernel · 梯度注册
TensorFlowOp
29
性能调优实战案例
矩阵乘法优化 · Reduce · 卷积优化
实战调优
30
算子部署与工程化
动态库(.so) · pybind11 · Docker容器化
部署工程化