01
吞吐压测基础概念
什么是CUDA核函数吞吐量 · 延迟与吞吐量区别 · 理论/实际带宽 · 计算与访存吞吐量
基础带宽
02
GPU架构与吞吐模型
SM/Warp调度 · 内存层次 · Occupancy与吞吐 · Roofline模型入门
架构Roofline
03
Profiling工具入门
Nsight Systems/Compute · nvprof/ncu · 性能计数器 · 分析报告
工具profiling
04
吞吐压测方法论
微基准设计 · warm-up · 中位数 · grid/block变量 · 控制变量法
方法基准
05
CUDA事件计时
cudaEvent_t · Record/Synchronize · 排除PCIe · 高精度计时
计时cudaEvent
06
内存带宽压测
向量加法带宽 · cudaMemcpy · bandwidthTest · L1/Shared差异
带宽内存
07
计算吞吐压测
FLOPs · 整数/特殊函数 · FP16/TF32/FP64 · 指令级并行
计算混合精度
08
Occupancy优化与吞吐
理论/实际Occupancy · 寄存器压力 · Shared权衡 · launch_bounds
Occupancy寄存器
09
Warp调度与吞吐
Warp divergence · 分支预测 · ILP · #pragma unroll
WarpILP
10
Shared Memory吞吐优化
Bank Conflict · Padding · 动态Shared · 矩阵转置案例
SharedBank
11
Global Memory合并访问
合并访问条件 · AoS vs SoA · cudaMallocPitch · float4向量化
合并Global
12
L1/Texture Cache优化
L1行为 · __ldg() · 纹理内存 · 表面内存 · 缓存命中率
Cache纹理
13
原子操作与吞吐
原子操作开销 · Shared/Global原子 · Warp Shuffle替代 · 直方图
原子Shuffle
14
Warp Shuffle指令
__shfl_sync · Warp级归约 · Shuffle vs Shared · All-Reduce
Shuffle归约
15
流水线与异步操作
CUDA Stream · 多Stream并发 · cudaMemcpyAsync重叠 · CUDA Graph
异步Stream
16
CUDA Graph优化
Graph创建/实例化 · 捕获模式 · 可更新Graph · 动态/静态选择
Graph启动开销
17
持久化线程 (Persistent Threads)
持久化线程概念 · 动态工作分配 · Grid大小 · 适用场景
持久化动态
18
动态并行 (Dynamic Parallelism)
子核启动 · 嵌套并行 · 同步通信 · 递归算法
动态并行递归
19
统一内存 (Unified Memory)
UM工作原理 · 页面迁移 · cudaMemAdvise · PrefetchAsync
UM页面迁移
20
CUDA Tensor Core编程
Tensor Core基础 · WMMA API · 矩阵乘法 · 混合精度训练
Tensor CoreWMMA
21
CUDA Cooperative Groups
协作组 · thread_block · grid_group · 跨块同步 · 多GPU
协作同步
22
多GPU吞吐扩展
多GPU编程 · P2P · Stream同步 · 负载均衡 · NVLink
多GPUNVLink
23
CUDA内核融合策略
融合原则 · 减少启动/中间数据 · 寄存器压力 · Occupancy
融合内核
24
编译器优化与吞吐
nvcc优化 · --use_fast_math · 常量内存 · PTX/SASS分析
编译器nvcc
25
PTX与SASS级优化
PTX指令集 · cuobjdump · 指令吞吐表 · inline PTX
PTXSASS
26
CUDA数学库优化
cuBLAS/cuFFT/cuRAND · Thrust · 自定义 vs 库函数
cuBLAS库
27
自动调优 (Auto-tuning)
参数搜索 · 网格搜索 · 贝叶斯优化 · cuTENSOR · JIT编译
自动调优搜索
28
实际案例：矩阵乘法优化
Naive · Shared分块 · Bank Conflict · 向量化 · Tensor Core
矩阵乘法案例
29
实际案例：卷积优化
im2col · Winograd · cuDNN · Fused · NHWC vs NCHW
卷积案例
30
性能优化总结与最佳实践
优化流程 · 瓶颈诊断 · 检查清单 · CI测试 · Hopper/Blackwell
总结最佳实践