01
算子融合初探
什么是算子融合？为什么需要算子融合？如何提升推理效率？
基础核心概念
02
计算图与算子
计算图的基本概念、算子定义与分类、计算图与算子的关系。
计算图算子
03
访存瓶颈分析
冯诺依曼瓶颈、计算密集型 vs 访存密集型、带宽与延迟。
性能硬件
04
融合的核心思想
减少Kernel Launch开销、减少中间读写、提升缓存利用率。
优化缓存
05
常见融合模式 (上)
Conv+BN融合、Conv+ReLU融合、Conv+BN+ReLU融合。
CNN融合模式
06
常见融合模式 (中)
Add+ReLU融合、Concat+后续算子融合、Slice+后续算子融合。
ElementWise图优化
07
常见融合模式 (下)
LayerNorm融合、Softmax融合、GELU融合。
Transformer激活函数
08
水平融合
相同算子的批量执行、Batch MatMul融合、ElementWise向量化。
批量SIMD
09
垂直融合
不同算子流水线执行、Conv+BN垂直融合、全连接层垂直融合。
流水线级联
10
算子融合的数学原理
线性变换可结合性、非线性激活融合条件、数值精度问题。
数学精度
11
TVM与算子融合
TVM融合策略、编译流程、融合Pass详解。
TVM编译器
12
TensorRT与算子融合
TensorRT图优化、融合策略、插件机制。
TensorRTNVIDIA
13
XLA与算子融合
XLA编译流程、HLO图优化、融合Pass。
XLATPU
14
ONNX Runtime与算子融合
ORT图优化、融合策略、Custom Op。
ONNX跨平台
15
手动融合 vs 自动融合
手动/自动融合优缺点、实际工程选择。
工程权衡
16
融合算子的CUDA实现
CUDA Kernel编写、共享内存、Warp优化。
CUDAGPU
17
融合算子的Triton实现
Triton编程模型、块级编程、自动调优。
TritonOpenAI
18
融合算子的性能分析
NVIDIA Nsight使用、Profile分析、瓶颈定位。
性能工具
19
Transformer中的算子融合
Multi-Head Attention融合、FFN融合、LayerNorm融合。
TransformerAttention
20
CNN中的算子融合
卷积层融合、池化层融合、激活函数融合。
CNN视觉
21
RNN/LSTM中的算子融合
Gate计算融合、State更新融合、序列优化。
RNNLSTM
22
GNN中的算子融合
消息传递融合、聚合函数融合、更新函数融合。
GNN图网络
23
多模态模型中的算子融合
视觉编码器融合、文本编码器融合、跨模态交互融合。
多模态融合
24
大语言模型(LLM)中的算子融合
FlashAttention原理、PagedAttention、KV Cache优化。
LLMFlashAttention
25
算子融合与量化
量化算子融合、INT8推理融合、混合精度融合。
量化INT8
26
算子融合与稀疏化
稀疏算子融合、结构化稀疏融合、非结构化挑战。
稀疏剪枝
27
算子融合的工程实践
融合算子测试、调试、部署。
工程CI/CD
28
算子融合的挑战与局限
融合度与灵活性权衡、动态形状、硬件适配。
挑战局限
29
未来趋势
编译器全图融合、硬件原生支持、AI for Compiler。
趋势前沿
30
综合实战
从零构建融合Pass、端到端推理优化、性能对比总结。
实战项目