01
GPU计算基础
GPU架构演进、CUDA编程模型、GPU与CPU协同工作原理
架构协同
02
CUDA开发环境搭建
NVIDIA驱动安装、CUDA Toolkit配置、cuDNN安装、Nsight工具链
环境Nsight
03
第一个CUDA程序
核函数编写、线程层次结构、<<<>>>语法详解、编译与运行
入门核函数
04
线程与块配置
Grid与Block维度设计、线程索引计算、Occupancy优化基础
线程Occupancy
05
内存层次结构
全局内存、共享内存、寄存器、本地内存、常量内存、纹理内存
内存层次
06
全局内存访问优化
合并访问原则、对齐要求、内存事务、Bank Conflict避免
合并访问Bank
07
共享内存优化
共享内存声明、动态分配、同步机制、Tile算法实现矩阵乘法
共享内存Tile
08
寄存器优化
寄存器压力、溢出处理、循环展开、指令级并行
寄存器ILP
09
常量内存与纹理内存
常量内存缓存、纹理内存滤波、只读缓存使用场景
常量纹理
10
流与并发执行
CUDA Stream创建、异步操作、重叠计算与数据传输、事件同步
Stream并发
11
核函数启动配置优化
Grid/Block大小调优、Occupancy计算器使用、Launch Bounds
启动配置调优
12
Warp级别优化
Warp执行模型、Warp Divergence避免、Warp Shuffle指令、协作组
WarpShuffle
13
原子操作与同步
原子函数、全局同步、Block内同步、Grid级同步技巧
原子同步
14
CUDA数学库应用
CUDA Math API、快速数学函数、精度与性能权衡
Math API精度
15
CUDA统一内存
UM工作原理、页面迁移、Prefetching、内存管理最佳实践
UMPrefetch
16
CUDA图（Graph）
图创建与执行、图捕获、图更新、动态图优化
Graph捕获
17
CUDA动态并行
动态核函数启动、嵌套并行、递归核函数、应用场景
动态并行递归
18
CUDA与多GPU编程
多GPU通信、Peer-to-Peer访问、NVLink优化、负载均衡
多GPUNVLink
19
CUDA与深度学习框架集成
PyTorch自定义CUDA扩展、TensorFlow自定义Op、JIT编译
PyTorchJIT
20
cuBLAS库优化
cuBLAS API使用、GEMM优化、批处理操作、混合精度支持
cuBLASGEMM
21
cuDNN库优化
卷积优化、RNN加速、Tensor Core利用、自动调优
cuDNNTensor Core
22
Tensor Core编程
WMMA API、mma指令、混合精度训练、FP16/BF16/INT8优化
Tensor CoreWMMA
23
NCCL通信优化
AllReduce优化、Ring算法、Tree算法、通信计算重叠
NCCLAllReduce
24
显存瓶颈分析
显存带宽限制、容量限制、碎片化、内存泄漏检测
显存瓶颈
25
显存优化策略
梯度检查点、混合精度训练、显存复用、Offloading技术
检查点Offload
26
CUDA内存池
自定义分配器、缓存机制、池化管理、碎片整理
内存池碎片
27
CUDA性能分析工具
Nsight Systems使用、Nsight Compute使用、Profiling指标解读
NsightProfiling
28
CUDA调试技巧
cuda-gdb调试、cuda-memcheck、错误检查、断言使用
调试cuda-gdb
29
CUDA最佳实践总结
优化流程、常见模式、性能调优checklist、生产部署注意事项
最佳实践checklist
30
综合实战项目
从零优化一个Transformer训练，涵盖数据加载、计算、通信、显存全链路优化
Transformer全链路