第1章
算子融合概述
什么是算子融合 · 为什么需要融合 · 收益与挑战
基础概念
第2章
计算图与IR
计算图基础 · IR概念 · 主流IR格式介绍
IR计算图
第3章
TVM与Relay IR
TVM架构 · Relay设计哲学 · Pass基础设施
TVMRelay
第4章
算子融合Pass框架
Pass注册机制 · 执行流程 · 依赖管理
Pass框架
第5章
融合规则定义
模式匹配 · 规则编写 · 优先级与冲突处理
规则匹配
第6章
常见融合模式(一)
Conv2D+BN+ReLU · Conv2D+Add+ReLU
ConvBN
第7章
常见融合模式(二)
MatMul+Add · GELU激活函数融合
MatMulGELU
第8章
常见融合模式(三)
LayerNorm融合 · Softmax+Scale融合
NormSoftmax
第9章
常见融合模式(四)
Reshape+Transpose · Slice+Concat
布局拼接
第10章
融合决策与代价模型
代价模型 · Profiling决策 · 启发式搜索
代价搜索
第11章
TVM算子融合源码分析(一)
FuseOps入口 · 图遍历与分组算法
源码TVM
第12章
TVM算子融合源码分析(二)
分组合并策略 · 融合组生成与验证
分组合并
第13章
TVM算子融合源码分析(三)
代码生成与调度 · 融合后算子代码生成
代码生成调度
第14章
XLA与HLO融合
XLA架构 · HLO Fusion Pass · 分支融合
XLAHLO
第15章
MLIR与Linalg融合
Dialect体系 · Linalg结构化算子 · Fusion Pass
MLIRLinalg
第16章
Triton与块级融合
Triton编程模型 · 块级融合策略 · 编译器实现
Triton块级
第17章
OneFlow与自动融合
OneFlow计算图 · Lazy/Eager模式 · 自动融合引擎
OneFlow自动
第18章
PyTorch JIT与TorchScript融合
TorchScript IR · Fuser子系统 · NNC/TensorExpr
PyTorchJIT
第19章
TensorRT与图优化
优化流程 · 层融合策略 · Plugin自定义融合
TensorRTPlugin
第20章
ONNX Runtime与图优化
ORT图优化框架 · Transformer优化 · 自定义Pass
ONNXORT
第21章
多算子融合与Kernel合并
水平/垂直融合 · Launch开销优化 · 融合Kernel编写
Kernel合并
第22章
动态Shape下的融合挑战
动态Shape分析 · 符号Shape · 动态融合策略
动态Shape
第23章
融合算子的调试与验证
正确性验证 · 数值精度 · Profiling工具
调试验证
第24章
融合Pass的性能调优
内存带宽 · 寄存器压力 · Tile Size调优
调优性能
第25章
自定义融合Pass开发(一)
环境搭建 · 工程结构 · Pass注册与测试
开发Pass
第26章
自定义融合Pass开发(二)
模式匹配 · 图重写 · 融合规则实现
重写模式
第27章
自定义融合Pass开发(三)
代价模型集成 · 自动调优接口
代价调优
第28章
融合Pass的测试与CI
单元测试 · 集成测试 · 性能回归测试
测试CI
第29章
前沿融合技术
FlashAttention · MoE稀疏融合 · 量化联合优化
前沿Attention
第30章
融合编译器实战项目
端到端编译优化 · 性能对比 · 总结与展望
实战项目