01
算子融合基础
什么是算子融合 · 为什么需要算子融合 · INT8推理中的融合挑战
基础INT8
02
Conv+BatchNorm融合
原理推导 · 融合公式 · 代码实现 · 精度验证
卷积BN
03
Conv+ReLU/LeakyReLU融合
激活函数融合策略 · 内存访问优化 · 性能对比
激活内存
04
Conv+Add+ReLU融合
残差结构融合 · Elementwise融合技巧 · TensorRT实现分析
残差TensorRT
05
Gemm+Bias+ReLU融合
全连接层融合 · 批量推理优化 · 融合后量化误差分析
全连接量化
06
LayerNorm融合
LayerNorm计算图拆分 · 融合策略 · INT8下的精度补偿
归一化精度
07
Softmax融合
Online Softmax原理 · 分段融合 · INT8下的数值稳定性
Softmax数值
08
Concat+Slice融合
内存布局优化 · 连续内存访问 · 融合后性能提升
内存布局
09
Reshape+Transpose融合
形状变换融合 · 数据排布优化 · 避免内存拷贝
形状优化
10
Pad+Conv融合
Padding吸收 · Implicit Padding技术 · 性能收益分析
Padding卷积
11
Scale+Shift融合
量化参数融合 · BatchNorm变体融合 · 代码模板
量化BN变体
12
Multi-Head Attention融合
QKV投影融合 · Attention Score计算融合 · 输出投影融合
AttentionTransformer
13
LayerNorm+Residual融合
Pre-LN与Post-LN融合差异 · 梯度回传影响 · 推理加速
残差LayerNorm
14
GELU融合
近似计算融合 · 分段线性拟合 · INT8下的精度损失控制
GELU近似
15
SiLU/Swish融合
激活函数融合 · 查找表优化 · 硬件指令映射
SiLU查找表
16
Depthwise Conv+BN+ReLU融合
深度可分离卷积融合 · MobileNet优化 · 通道维度处理
DepthwiseMobileNet
17
Group Conv融合
分组卷积内存访问模式 · 融合策略 · 性能调优
分组卷积内存
18
Deconvolution融合
转置卷积融合 · 计算图优化 · 内存带宽优化
转置卷积带宽
19
MatMul+Scale融合
Attention Score缩放融合 · 数值范围控制 · INT8精度提升
MatMulScale
20
ReduceMean+Sub+Div融合
LayerNorm/Norm融合变体 · 计算图化简
Reduce归一化
21
Clip+Quantize融合
截断与量化合并 · 饱和量化策略 · 硬件指令融合
量化截断
22
Dequantize+Add融合
反量化与加法融合 · 混合精度推理 · 精度与速度权衡
反量化混合精度
23
TopK融合
TopK算子融合策略 · 硬件加速 · INT8下的近似TopK
TopK近似
24
Gather+Embedding融合
Embedding查找融合 · 内存访问优化 · 缓存友好设计
Embedding缓存
25
Non-Maximum Suppression融合
NMS算子融合 · 后处理加速 · INT8下的精度影响
NMS后处理
26
Resize+Conv融合
上采样融合 · 插值计算吸收 · 性能对比
Resize上采样
27
Split+Concat融合
通道分割与合并融合 · 内存复用 · 计算图优化
SplitConcat
28
Transpose+MatMul融合
矩阵乘法布局优化 · 内存排布 · 性能提升
TransposeMatMul
29
Multi-Output融合
多输出算子融合策略 · 内存管理 · 调度优化
多输出调度
30
综合案例
ResNet-50 INT8推理融合实战 · BERT INT8推理融合实战 · YOLOv5 INT8推理融合实战
实战ResNetBERTYOLOv5