01
算子融合概述
什么是算子融合 · 为什么需要融合 · 横向/纵向分类
基础概念
02
手工融合原理
基本思想 · Conv+BN · Conv+ReLU · MatMul+Add
手工模式
03
手工融合实现
以Conv+BN为例 · 手动合并算子
代码Conv+BN
04
手工融合的优缺点
性能提升 · 调试困难 · 维护成本高 · 缺乏通用性
评估权衡
05
自动融合概述
什么是自动融合 · 动机 · 与手工融合核心区别
自动对比
06
自动融合的编译器基础
计算图 · 中间表示(IR) · Pass机制
编译器IR
07
TVM中的自动融合
TVM融合Pass · Fuse规则 · Fuse算法
TVM自动
08
XLA中的自动融合
XLA融合策略 · HLO IR · Layout Assignment
XLAHLO
09
TensorRT中的自动融合
图优化引擎 · 层融合策略 · 插件机制
TensorRT推理
10
自动融合的优缺点
开发效率高 · 通用性强 · 性能可能不如手工 · 调试黑盒
评估自动
11
手工融合 vs 自动融合
性能对比 · 开发成本 · 可维护性 · 适用场景
对比决策
12
融合对内存带宽的影响
减少Kernel Launch · 减少中间张量读写 · 提升计算密度
内存带宽
13
融合对计算效率的影响
减少访存次数 · 提升缓存命中率 · 减少调度开销
计算效率
14
融合在推理场景中的应用
推理引擎融合策略 · 静态形状下的优势
推理部署
15
融合在训练场景中的应用
反向传播融合 · 梯度累积 · 自动微分与融合
训练反向
16
手工融合的实战案例
PyTorch中手动实现Conv+BN+ReLU融合
PyTorch实战
17
自动融合的实战案例
使用TVM / FX进行自动融合
TVMFX
18
融合的边界条件
融合失败原因 · 形状不匹配 · 数据类型不一致 · 控制流干扰
边界调试
19
融合与量化
量化感知训练融合 · 量化推理融合 · 混合精度
量化精度
20
融合与内存优化
In-Place操作 · 内存复用 · Tensor Aliasing
内存优化
21
融合与算子库
cuDNN/cuBLAS融合 · OneDNN · MIOpen
库底层
22
融合在分布式训练中的应用
通信算子融合 · AllReduce+MatMul
分布式通信
23
融合在边缘设备上的应用
资源受限策略 · 内存带宽瓶颈
边缘轻量
24
融合的自动化搜索
AutoTVM · Ansor · AutoSchedule
搜索自动
25
融合与图优化
常量折叠 · 死代码消除 · 公共子表达式消除
图优化编译
26
融合的调试技巧
验证正确性 · Profiling工具 · 性能瓶颈分析
调试Profiling
27
融合的未来趋势
端到端融合 · 动态形状融合 · 多层级融合
趋势前沿
28
手工融合的代码生成
编写融合Kernel · CUDA实现 · Triton融合
CUDATriton
29
自动融合的代码生成
编译器生成融合Kernel · CodeGen · Vectorization
代码生成编译器
30
总结与展望
手工与自动的取舍 · 实际项目选择策略
总结路线