01
吞吐优化概述
什么是吞吐量、为什么需要算子调优、核心指标（FLOPS/内存带宽/延迟）、调优整体流程
基础指标
02
硬件架构基础
GPU/CPU计算单元、内存层次(L1/L2/HBM/DDR)、PCIe瓶颈、SM/Warp调度
硬件GPU
03
性能分析工具
Nsight Systems/Compute、ncu命令行、PyTorch Profiler、TensorBoard
工具Profiling
04
算子性能模型
Roofline模型详解、计算/访存密集型、算术强度计算
模型Roofline
05
内存访问优化
合并访问、对齐访问、共享内存、Bank Conflict避免
内存Shared Memory
06
计算优化
指令级并行(ILP)、线程级并行(TLP)、Warp调度、SIMD/SIMT
并行SIMT
07
循环优化
循环展开、分块(Tiling)、融合(Fusion)、交换(Interchange)
循环编译
08
算子融合策略
Element-wise/Reduce融合、Conv+BN+ReLU、FlashAttention原理
融合Attention
09
矩阵乘法优化
Naive实现、共享/寄存器分块、Warp级矩阵乘、Tensor Core
GEMMTensor Core
10
卷积算子优化
Im2Col+GEMM、Winograd、FFT、直接卷积、cuDNN搜索
卷积cuDNN
11
Reduce算子优化
Warp级/Block级/多阶段Reduce、原子操作优化
Reduce原子操作
12
Softmax算子优化
Online Softmax、Safe Softmax、FlashAttention中的优化
Softmax数值稳定
13
LayerNorm/BatchNorm优化
融合实现、半精度、反向传播、统计量优化
归一化融合
14
激活函数优化
ReLU/GELU/SiLU快速实现、近似计算、算子融合
激活近似
15
Embedding优化
哈希表、稀疏访问、预取策略、梯度更新优化
Embedding稀疏
16
Attention机制优化
Self-Attention图、KV Cache、PageAttention、FlashAttention
AttentionLLM
17
混合精度训练
FP16/BF16/FP8、Loss Scaling、Master Weights、AMP
混合精度AMP
18
算子编译技术
TVM、Triton、XLA、JIT编译、Kernel Auto-tuning
编译Triton
19
CUDA Graph优化
CUDA Graph原理、捕获重放、动态Shape、多流Graph
CUDA Graph启动开销
20
异步与并发
CUDA Stream、异步拷贝、Overlap计算通信、Pipeline并行
异步Stream
21
通信算子优化
AllReduce(Ring/Tree)、AllGather、ReduceScatter、NCCL、拓扑感知
通信NCCL
22
数据加载优化
DataLoader多进程、内存映射、预取缓存、数据增强加速
数据IO
23
算子调优自动化
AutoTune框架、贝叶斯搜索、遗传算法、基于学习调优
自动调优搜索
24
Profiling深度分析
Kernel耗时、Occupancy、Memory分析、Warp Stall分析
ProfilingOccupancy
25
常见性能瓶颈
Warp Divergence、Bank Conflict、Shared Memory Misuse、原子竞争
瓶颈调试
26
算子库使用
cuBLAS、cuDNN、CUTLASS、Thrust、CUB高效配置
库cuBLAS
27
自定义算子开发
CUDA C++ Kernel、PyTorch/Triton自定义算子、测试验证
开发自定义
28
端到端案例(一) ResNet-50
从Profiling到优化再到验证的全流程调优
案例ResNet
29
端到端案例(二) LLM推理
Attention+MLP+Embedding联合优化
案例LLM
30
总结与展望
算子调优未来趋势、硬件演进影响、持续学习路径
趋势学习