第1章
算子融合概述
什么是算子融合 · 为什么需要融合 · 在推理引擎中的位置
基础概念
第2章
性能瓶颈分析
访存密集型 vs 计算密集型 · 带宽墙与计算墙
性能分析
第3章
融合策略分类
水平融合 · 垂直融合 · 跨层融合 · 复合融合
策略分类
第4章
典型融合模式
Conv+BN+ReLU · Conv+Add+ReLU · MatMul+Add
模式经典
第5章
融合的数学等价性
保证计算结果一致 · 数值精度问题
数学精度
第6章
融合实现原理
图优化阶段 · 模式匹配 · 子图替换
原理实现
第7章
TVM中的算子融合
TVM融合策略 · FuseOps pass · 代码生成
TVM编译器
第8章
TensorRT中的算子融合
图优化引擎 · 层融合策略 · 插件机制
TensorRTNVIDIA
第9章
ONNX Runtime中的融合
优化pass · 自定义融合算子
ONNXRuntime
第10章
XLA中的融合
HLO优化 · 循环融合 · 点对点融合
XLATPU
第11章
手动融合 vs 自动融合
手写kernel融合的优缺点 · 自动融合工具的局限性
对比实践
第12章
访存优化与融合
减少全局内存访问 · 利用共享内存 · 寄存器缓存
访存优化
第13章
计算优化与融合
减少kernel launch开销 · 提高计算密度 · 指令级并行
计算并行
第14章
融合中的维度处理
广播机制 · 维度变换 · 动态形状处理
维度形状
第15章
融合与量化协同
量化感知训练后的融合 · INT8融合注意事项
量化INT8
第16章
融合与稀疏性
稀疏算子的融合 · 结构化稀疏融合
稀疏结构化
第17章
多级融合策略
L1缓存融合 · L2缓存融合 · 全局融合
缓存层级
第18章
动态形状下的融合
动态batch · 动态分辨率下的融合策略
动态形状
第19章
融合的调试与验证
数值对比工具 · 性能profiling · 正确性检查
调试验证
第20章
融合的硬件适配
GPU融合优化 · NPU融合优化 · CPU融合优化
硬件适配
第21章
Transformer模型中的融合
Multi-Head Attention融合 · FFN融合 · LayerNorm融合
TransformerAttention
第22章
CNN模型中的融合
卷积+BN融合 · 深度可分离卷积融合 · 残差连接融合
CNN卷积
第23章
RNN/LSTM中的融合
门控单元融合 · 时间步展开融合
RNNLSTM
第24章
融合的编译优化
JIT编译 · Triton kernel融合 · CUDA Graph融合
编译JIT
第25章
融合的自动搜索
AutoTVM中的融合搜索 · Ansor中的融合策略
自动搜索AutoTVM
第26章
融合的边界情况
控制流中的融合 · 条件分支中的融合
边界控制流
第27章
融合的性能评估
延迟 · 吞吐量 · 显存占用 · 功耗
评估指标
第28章
融合的工程实践
生产环境中的融合策略选择 · A/B测试
工程实践
第29章
融合的未来趋势
端侧融合 · 异构融合 · 可微分融合
趋势前沿
第30章
综合案例：ResNet50到BERT
从ResNet50到BERT的融合优化实战
实战案例