01
算子融合概述
什么是算子融合 · 为什么需要算子融合 · 历史与发展
基础概念
02
计算图基础
计算图的概念 · 静态图与动态图 · 与算子融合的关系
图框架
03
访存瓶颈分析
冯诺依曼瓶颈 · 计算密度与访存密度 · Roofline模型
性能硬件
04
水平融合与垂直融合
水平融合（同类型合并）· 垂直融合（连续合并）· 策略选择
策略分类
05
典型融合模式
Conv+BN+ReLU · Conv+Add+ReLU · MatMul+Add
模式CNN
06
TVM算子融合
TVM框架简介 · 融合规则 · FuseOps Pass详解
TVM编译器
07
XLA算子融合
XLA架构 · HLO与LHLO · kLoop/kInput/kOutput
XLATPU
08
TensorRT算子融合
优化流程 · 层融合 · 插件机制
TensorRT推理
09
OneFlow算子融合
Lazy模式 · 自动融合引擎 · Boxing与融合
OneFlow自动
10
手动融合与自动融合
手动融合优缺点 · 自动融合挑战 · 编译器原理
方法论对比
11
融合对显存的影响
减少Kernel Launch · 减少中间张量 · 显存复用
显存优化
12
融合对计算速度的影响
减少全局内存访问 · 提升计算密度 · 加速比分析
性能加速
13
CUDA Kernel融合实践
编写融合Kernel · Shared Memory · Warp级编程
CUDA编程
14
ElementWise融合
逐元素融合 · 广播处理 · 向量化加载存储
Element向量化
15
Reduce融合
归约操作融合 · Tree Reduction · Warp Shuffle
Reduce优化
16
Transpose融合
转置与Reshape融合 · Layout转换 · NCHW与NHWC
布局转换
17
Softmax融合
Online Softmax · Safe Softmax · FlashAttention思想
SoftmaxAttention
18
LayerNorm融合
计算流程 · 融合前向与反向 · RMSNorm融合
LayerNorm归一化
19
Attention融合
QKV投影融合 · MHA/MQA融合 · FlashAttention原理
AttentionLLM
20
GELU/SiLU激活融合
激活与矩阵乘融合 · 精度与性能权衡
激活融合
21
BN与LN融合
BatchNorm与Conv融合 · LayerNorm与Linear融合 · 推理融合
BNLN
22
量化算子融合
量化反量化融合 · INT8计算融合 · QAT与PTQ
量化INT8
23
动态形状与融合
动态形状挑战 · Padding与融合 · Mask与融合
动态形状
24
多设备融合策略
CPU与GPU差异 · NPU特点 · 异构融合
异构设备
25
融合的编译优化
死代码消除 · 常量折叠 · 公共子表达式消除
编译优化
26
融合的调试与Profiling
NVIDIA Nsight · 性能对比 · 瓶颈定位
调试Profiling
27
融合的精度问题
FP16/BF16融合 · 混合精度融合 · 数值稳定性
精度混合精度
28
图优化Pass编写
MLIR与Pass · 自定义融合Pass · Pattern Rewrite
MLIRPass
29
工业级案例
ResNet50融合 · BERT融合 · LLM推理融合
案例工业
30
未来趋势
编译器与硬件协同 · 自动搜索策略 · AI编译器展望
趋势前沿