01
算子优化概述
AI训练性能瓶颈分析 · 优化目标与意义 · FLOPS/带宽利用率/延迟
性能度量瓶颈
02
硬件架构基础
GPU/加速器架构 · 内存层次 · 计算单元与线程调度
GPU内存
03
性能分析工具
Nsight Systems/Compute · ROCProfiler · VTune Profiler
Profiling工具
04
内存访问优化
合并访问 · 内存对齐 · Bank Conflict · 共享内存
Coalesced共享内存
05
计算优化策略
ILP · TLP · SIMD/SIMT · 减少分支发散
并行向量化
06
算子融合技术
融合收益 · Conv+BN+ReLU · MatMul+Add
融合Pass
07
矩阵乘法优化
GEMM分块/重排 · Tensor Core · cuBLAS对比
GEMMTensor Core
08
卷积算子优化
im2col · Winograd · 直接卷积 · cuDNN对比
卷积Winograd
09
归一化算子优化
Batch/Layer/Instance Normalization 融合与优化
Normalization融合
10
激活函数算子优化
ReLU/Sigmoid/Tanh/GELU 快速实现与融合
激活融合
11
池化算子优化
Max/Average Pooling 向量化 · 减少全局内存
池化向量化
12
Embedding算子优化
Embedding Lookup 访存优化 · 共享缓存热点词
Embedding缓存
13
Attention机制优化
Self-Attention分解 · FlashAttention · KV Cache
AttentionFlash
14
Transformer整体优化
Layer组合 · 混合精度 · Gradient Checkpointing
TransformerCheckpoint
15
混合精度训练
FP16/BF16/FP8 · Loss Scaling · Master Weights
混合精度FP16
16
自动混合精度(AMP)
PyTorch/TensorFlow AMP · 自定义策略
AMP自动
17
梯度累积与压缩
通信开销 · Top-K稀疏化 · 量化梯度 · 异步更新
梯度压缩
18
分布式训练优化
数据/模型/流水线/张量并行 · 算子适配
分布式并行
19
算子自动调优
TVM/Ansor · Triton · JIT编译 · Auto-Tuning
AutoTVMTriton
20
手写CUDA算子
从零实现 Softmax · LayerNorm · GeLU
CUDA手写
21
手写HIP算子
AMD GPU移植优化 · ROCm工具链
HIPROCm
22
算子库使用与定制
cuDNN/cuBLAS/CUTLASS/oneDNN 调优参数
库调优
23
内存管理与复用
内存池 · 显存碎片 · In-Place · Tensor复用
内存池复用
24
异步执行与流水线
CUDA Stream · Event同步 · Multi-Stream并发
异步Stream
25
编译器优化
XLA · TorchScript · TensorRT 图优化与融合
编译器XLA
26
量化算子优化
INT8/INT4量化 · QAT · 高效量化算子
量化INT8
27
稀疏算子优化
CSR/COO · 稀疏矩阵乘法 · 结构化稀疏
稀疏CSR
28
动态形状算子优化
动态Batch/序列长度 · Padding优化 · Kernel设计
动态形状Padding
29
端到端训练性能调优
数据加载 · DALI · CPU-GPU流水线 · Profiling
端到端DALI
30
前沿趋势与总结
H100/B200/MI300 · 优化方向 · 资源推荐
前沿总结