01
算子融合基础
什么是算子融合？为什么能提升训练吞吐？核心原理与收益分析。
基础原理
02
计算图与算子边界
计算图的概念、算子粒度的定义、融合的边界条件。
计算图边界
03
常见融合模式（一）
Conv+BatchNorm+ReLU 融合，原理与实现。
CNNConv+BN+ReLU
04
常见融合模式（二）
Multi-Head Attention 中的 QKV 融合与 FFN 融合。
AttentionTransformer
05
常见融合模式（三）
LayerNorm + Dropout + Add 残差融合。
残差LayerNorm
06
常见融合模式（四）
Element-wise 算子融合（Add、Mul、Sigmoid 等）。
Element-wise激活
07
常见融合模式（五）
Reduce 类算子融合（Sum、Mean、Softmax 等）。
ReduceSoftmax
08
常见融合模式（六）
GELU 激活函数及其融合变体。
GELU激活
09
常见融合模式（七）
FlashAttention 原理与算子融合的关系。
FlashAttentionIO
10
常见融合模式（八）
Concat + Slice 融合与内存优化。
内存Concat
11
常见融合模式（九）
Transpose + Reshape 融合与布局优化。
布局Transpose
12
常见融合模式（十）
AllReduce + 计算融合（通信计算重叠）。
通信AllReduce
13
手动融合 vs 自动融合
TVM、XLA、Triton 的自动融合策略。
自动融合编译器
14
TVM 算子融合
TVM 的融合规则、FuseOps pass 详解。
TVMFuseOps
15
XLA 算子融合
XLA 的 HLO 融合、Layout 优化与 Fusion pass。
XLAHLO
16
Triton 算子融合
Triton 的 TMA 与 Persistent Kernel 融合。
TritonTMA
17
PyTorch 中的算子融合
torch.jit.script、torch.compile、torch.fx。
PyTorchtorch.compile
18
TensorFlow 中的算子融合
Grappler 优化器、XLA 集成。
TensorFlowGrappler
19
JAX 中的算子融合
JIT 编译与 XLA 后端融合。
JAXJIT
20
OneFlow 中的算子融合
Boxing 机制与自动融合。
OneFlowBoxing
21
算子融合的硬件适配
NVIDIA GPU（CUDA Core、Tensor Core）与 AMD GPU。
GPUTensor Core
22
算子融合与内存带宽
如何通过融合减少全局内存访问。
内存带宽优化
23
算子融合与 Kernel Launch 开销
减少 Kernel 启动次数。
Kernel启动开销
24
算子融合与并行度
融合后如何保持并行性（线程束、SM 利用率）。
并行SM
25
算子融合的精度问题
融合后数值精度变化与混合精度训练。
精度混合精度
26
算子融合的调试与 Profiling
使用 Nsight、PyTorch Profiler 分析融合效果。
ProfilingNsight
27
实战案例（一）
在 PyTorch 中手动实现 Conv+BN+ReLU 融合。
实战PyTorch
28
实战案例（二）
使用 torch.compile 自动融合 Transformer 模型。
实战Transformer
29
实战案例（三）
使用 Triton 编写自定义融合 Kernel（GELU + Add）。
Triton自定义Kernel
30
算子融合的未来趋势
动态编译、硬件原生支持、AI 编译器融合。
趋势AI编译器