01
算子融合概述
什么是算子融合 · 为什么需要算子融合 · 收益分析
基础概念
02
计算图与算子
计算图基本概念 · 算子定义与分类 · 数据流
核心图论
03
融合策略基础
水平融合与垂直融合 · 粒度选择 · 触发条件
策略设计
04
常见融合模式
Conv+BN · Conv+ReLU · Add+ReLU · MatMul+Add
模式经典
05
内存访问优化
减少带宽消耗 · 数据局部性 · 寄存器级融合
性能存储
06
GPU上的算子融合
CUDA kernel融合 · 共享内存 · warp级优化
GPUCUDA
07
CPU上的算子融合
SIMD指令集 · 缓存友好 · 多线程融合
CPUSIMD
08
编译器中的算子融合
TVM · XLA · Glow 融合机制
编译器TVM
09
框架层面的融合
PyTorch JIT · TF Grappler · OneFlow自动融合
框架PyTorch
10
手动融合与自动融合
手动编写kernel · 自动搜索 · 混合策略
自动手动
11
融合的数学等价性
数学一致性 · 精度影响 · 数值稳定性
数学验证
12
融合的硬件适配
GPU架构差异 · 移动端NPU · 分布式融合
硬件适配
13
融合与显存优化
减少中间张量 · 激活重计算 · 梯度检查点
显存优化
14
融合在Transformer中的应用
Attention融合 · FFN融合 · LayerNorm融合
TransformerNLP
15
融合在CNN中的应用
卷积层融合 · 池化层融合 · BN融合
CNN视觉
16
融合在RNN/LSTM中的应用
门控融合 · 时间步展开 · 序列并行
RNN序列
17
融合与量化联合优化
融合后量化 · 量化感知融合 · 混合精度
量化精度
18
融合的调试与验证
正确性验证 · profiling · 瓶颈分析
调试工具
19
融合的自动化工具
AutoTVM · Ansor · Halide 融合策略
自动搜索
20
融合在推理场景中的应用
推理引擎 · ONNX Runtime · TensorRT
推理部署
21
融合在训练场景中的应用
前向与反向融合 · 梯度计算融合 · 优化器更新
训练反向
22
融合与分布式训练
数据并行 · 模型并行 · 流水线并行
分布式并行
23
融合的代价模型
计算时间模型 · 内存模型 · 收益预估
代价建模
24
融合的图优化技术
子图匹配 · 模式替换 · 图重写规则
图优化编译
25
融合与算子库
cuDNN · MKL · oneDNN 融合原语
算子库cuDNN
26
融合的边界条件
动态shape · 控制流 · 稀疏计算
边界动态
27
融合的工程实践
大规模模型策略 · 训练稳定性 · 代码维护
工程实践
28
融合的未来趋势
可微分融合 · 学习型策略 · 软硬件协同
前沿趋势
29
融合案例分析
BERT · ResNet · GPT 融合实践
案例实战
30
融合实战项目
实现Conv+BN+ReLU kernel · 性能对比 · 集成训练
项目代码