第1章
算子融合概述
什么是算子融合 · 为什么需要融合 · 收益分析
基础概念
第2章
计算图与算子
计算图基本概念 · 算子定义与分类 · 数据流
核心图
第3章
融合策略基础
水平与垂直融合 · 粒度选择 · 约束条件
策略设计
第4章
典型融合模式
Conv+BN+ReLU · Conv+Add+ReLU · MatMul+Add
模式经典
第5章
TVM算子融合
融合框架 · 融合规则 · 融合Pass实现
TVM编译器
第6章
XLA算子融合
融合策略 · HLO与融合 · 编译流程
XLATPU
第7章
TensorRT融合
层融合 · Plugin自定义融合 · 优化管线
TensorRT推理
第8章
ONNX Runtime融合
图优化 · Runtime融合Pass · 自定义算子
ONNX跨平台
第9章
MLIR与算子融合
Dialect机制 · Linalg与融合 · Tiling与融合
MLIR多级
第10章
内存访问优化
减少内存带宽 · 数据局部性 · Cache友好融合
内存性能
第11章
计算密集型融合
GEMM融合 · 卷积核融合 · FFT与融合
计算GEMM
第12章
访存密集型融合
Element-wise融合 · Reduce融合 · Broadcast融合
访存带宽
第13章
自动融合搜索
基于规则 · 代价模型 · 强化学习搜索
自动搜索
第14章
代价模型构建
硬件性能模型 · 执行时间建模 · 收益评估
代价建模
第15章
融合与并行
线程级并行 · 向量化与融合 · GPU Warp融合
并行GPU
第16章
动态形状融合
动态Shape挑战 · 动态融合策略 · JIT编译融合
动态JIT
第17章
跨设备融合
CPU-GPU协同 · 异构融合 · 数据搬移优化
异构协同
第18章
融合与量化
量化感知融合 · INT8优化 · 混合精度融合
量化INT8
第19章
图级别融合
子图匹配 · 模式替换 · 图重写Pass
图优化Pass
第20章
算子库与融合
cuDNN融合API · MKL优化 · OneDNN融合
库cuDNN
第21章
编译器前端融合
AST层面融合 · IR层面融合 · 代码生成融合
前端IR
第22章
运行时融合
动态编译融合 · 解释器融合 · JIT融合引擎
运行时JIT
第23章
融合安全与正确性
数值精度 · 等价性验证 · 测试策略
正确性测试
第24章
大规模模型融合
Transformer融合 · MoE融合 · 分布式融合
大模型分布式
第25章
融合与稀疏性
稀疏算子融合 · 结构化稀疏 · 动态稀疏融合
稀疏结构化
第26章
融合工具链
Profiling工具 · 可视化融合 · 调试工具
工具调试
第27章
工业级案例
TensorFlow · PyTorch · PaddlePaddle实践
工业框架
第28章
前沿融合技术
可微分融合 · 神经架构搜索 · 自适应融合
前沿NAS
第29章
融合性能调优
瓶颈分析 · 调优方法论 · Benchmark实践
调优性能
第30章
算子融合未来
硬件演进 · 编译器发展 · AI for Compiler
未来趋势