01
算子融合概述
什么是算子融合 · 为什么需要融合 · 收益分析
基础概念
02
计算图与算子
计算图基础 · 算子定义与分类 · 数据流
核心图论
03
常见融合模式
横向融合 · 纵向融合 · 交叉融合
模式策略
04
GPU架构与算子融合
GPU计算模型 · 内存层次 · 访存影响
硬件架构
05
CUDA编程基础回顾
Kernel编写 · 线程层次 · 共享内存
CUDA回顾
06
Element-wise算子融合
加法+激活函数 · 逐元素合并
逐元素入门
07
Reduce算子融合
Softmax融合 · LayerNorm融合 · Reduce优化
归约归一化
08
MatMul与Bias融合
矩阵乘法+偏置 · FusedMatMul实现
矩阵Bias
09
Conv与BN融合
卷积+批归一化 · FusedConvBn实现
卷积BN
10
Conv与ReLU融合
卷积+激活函数 · In-place优化
卷积ReLU
11
Multi-Head Attention融合
QKV投影融合 · Attention Score融合
注意力Transformer
12
FFN层融合
GELU融合 · 线性层合并
前馈FFN
13
LayerNorm与Residual融合
残差+归一化合并 · 计算图优化
残差LayerNorm
14
FlashAttention原理
分块计算 · 重计算 · IO感知优化
FlashIO
15
FlashAttention实现
Tiling策略 · Online Softmax · Kernel
实现Tiling
16
TVM与算子融合
TVM框架 · 自动融合Pass · 调度优化
TVM编译器
17
TensorRT中的融合
TRT优化器 · Layer融合 · INT8量化融合
TensorRT推理
18
XLA与算子融合
XLA编译器 · HLO优化 · Fusion Pass
XLAHLO
19
PyTorch JIT融合
TorchScript · Fuser后端 · NNC/NVFuser
PyTorchJIT
20
Triton语言入门
Triton编程模型 · Block级编程 · 自动调优
TritonDSL
21
Triton实现FusedSoftmax
从零编写融合Kernel · 性能对比
TritonSoftmax
22
Triton实现FusedAttention
QKV投影+Attention融合实现
TritonAttention
23
手动融合实战
分析计算图 · 识别融合机会 · 编写Kernel
实战手工
24
融合算子调试技巧
正确性验证 · Profiling · 数值稳定性
调试Profiling
25
融合算子的自动搜索
AutoTVM · Ansor · 自动融合策略
自动搜索AutoTVM
26
大规模模型中的融合
/Llama实践 · Megatron-LM融合
大模型Megatron
27
混合精度与融合
FP16/BF16融合 · 混合精度注意事项
混合精度FP16
28
算子融合性能评估
吞吐量对比 · 显存分析 · 端到端加速比
性能评估
29
常见陷阱与避坑指南
数值误差 · 梯度错误 · 内存对齐
陷阱避坑
30
算子融合未来趋势
编译器驱动 · 硬件原生支持 · 动态融合
趋势前沿