第1章
算子融合概述
什么是算子融合 · 为什么需要融合 · 收益分析
基础概念
第2章
计算图与算子
计算图基础 · 算子定义与分类 · 数据流
核心图论
第3章
融合策略分类
水平融合 · 垂直融合 · 混合融合详解
策略分层
第4章
硬件架构基础
GPU架构概览 · 内存层次 · 计算单元与调度
硬件GPU
第5章
访存优化原理
访存瓶颈 · 数据局部性 · 带宽与延迟
优化内存
第6章
常见融合模式
Conv+Bias+ReLU · BN+ReLU · Conv+BN
模式经典
第7章
TVM算子融合
TVM框架 · 融合Pass机制 · 实战案例
TVM编译器
第8章
TensorRT融合
TensorRT简介 · 层融合 · INT8量化融合
TensorRT推理
第9章
XLA编译器融合
XLA架构 · HLO与融合 · AOT编译优化
XLATPU
第10章
ONNX Runtime融合
ONNX Runtime架构 · 图优化Pass · 自定义融合
ONNX跨平台
第11章
手动融合实现
CUDA Kernel融合 · 共享内存 · 寄存器优化
CUDA手写
第12章
自动融合搜索
AutoTVM · AutoSchedule · 遗传算法搜索
自动搜索
第13章
融合与内存带宽
带宽利用率 · 融合影响 · Roofline模型
带宽Roofline
第14章
融合与计算密度
计算密度定义 · Arithmetic Intensity · 提升密度
密度分析
第15章
融合与算子库
cuDNN融合 · MIOpen融合 · OneDNN融合
库cuDNN
第16章
动态形状融合
动态形状挑战 · Padding策略 · 动态编译
动态形状
第17章
多设备融合
CPU+GPU协同 · 流水线并行 · 数据并行融合
多设备并行
第18章
融合安全性与精度
数值精度 · FP16融合 · 混合精度训练
精度安全
第19章
融合调试工具
NVIDIA Nsight · Profiling技巧 · 瓶颈定位
调试Nsight
第20章
融合性能评估
延迟测量 · 吞吐量 · 能耗测量
评估指标
第21章
图优化Pass开发
Pass框架 · 模式匹配 · 图重写
PassIR
第22章
自定义融合算子
CUDA扩展 · PyTorch自定义 · Triton语言
自定义Triton
第23章
融合与编译器IR
MLIR简介 · Dialect设计 · 融合Pass实现
MLIR编译器
第24章
端侧推理融合
TFLite融合 · NCNN融合 · MNN实践
端侧移动端
第25章
大模型融合技巧
Attention融合 · FFN融合 · KV Cache优化
大模型Attention
第26章
融合与稀疏计算
稀疏算子融合 · 结构化稀疏 · 稀疏注意力
稀疏加速
第27章
融合与量化联合优化
QAT与融合 · PTQ与融合 · 硬件部署
量化联合
第28章
融合前沿研究
FlashAttention · Memory Efficient · Fused Kernel
前沿研究
第29章
实战项目一：ResNet50
全模型融合优化 · 推理加速 · 部署
项目ResNet
第30章
实战项目二：BERT
BERT模型融合加速 · 部署与优化
项目BERT