VIP20

本课程属于：019-吞吐分析 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

算子融合加速推理实践

📚 共计 30 章节

01

算子融合概述

什么是算子融合、为什么需要融合、收益与挑战

基础概念

02

计算图与算子

计算图基础、常见算子类型、算子依赖关系

计算图Conv/ReLU

03

融合策略分类

水平融合、垂直融合、交叉融合、复合融合

策略分类

04

Conv+BN融合

原理推导、数学等价变换、计算量分析

Conv+BN数学

05

Conv+ReLU融合

激活函数融合、内存访问优化、部署案例

激活优化

06

Conv+BN+ReLU三段融合

三段式完整流程、参数合并、精度影响

三段式经典

07

Add+ReLU融合

残差网络融合、Element-wise融合条件

残差Add

08

Concat+Conv融合

拼接与卷积联合优化、通道对齐、内存布局

Concat通道

09

LayerNorm+ReLU融合

Transformer融合模式、线性变换特性

TransformerLayerNorm

10

GELU+Softmax融合

注意力机制融合、近似计算与精度权衡

注意力近似

11

MatMul+Add+Bias融合

全连接层融合、广播机制融合处理

全连接Bias

12

Reshape+Transpose融合

形状变换算子融合、内存重排优化

形状重排

13

Pad+Conv融合

填充与卷积合并、边界处理优化

Pad边界

14

Pooling+Conv融合

池化与卷积联合、下采样融合策略

池化下采样

15

Slice+Concat融合

切片与拼接融合、数据流优化

Slice数据流

16

TVM中的算子融合

TVM融合框架、融合规则、自动调度

TVM自动调度

17

TensorRT中的算子融合

图优化引擎、层融合策略、动态形状

TensorRT动态

18

ONNX Runtime中的融合

ONNX图优化、融合Pass、跨平台部署

ONNX跨平台

19

XLA中的算子融合

HLO图融合、Fusion Pass、编译时优化

XLAHLO

20

MLIR中的融合框架

Dialect设计、Pattern Rewrite、融合Pass

MLIRDialect

21

手动融合与自动融合

手动场景、自动搜索策略、混合方案

手动自动

22

融合后的内存优化

寄存器分配、缓存友好、数据复用

内存缓存

23

融合后的并行计算

GPU线程块、Warp融合、共享内存

GPU并行

24

融合的精度问题

数值稳定性、混合精度、量化融合

精度量化

25

动态形状下的融合

动态batch、可变维度、运行时重编译

动态形状

26

融合的代价模型

计算/内存代价估算、搜索空间剪枝

代价搜索

27

多算子融合实战（CNN）

ResNet50融合、MobileNet优化、性能对比

CNNResNet

28

多算子融合实战（Transformer）

BERT融合、GPT优化、推理加速比

BERTGPT

29

融合与量化联合优化

QAT与融合、PTQ与融合、联合部署

量化QAT

30

算子融合前沿与趋势

编译器自动融合、硬件感知、端侧优化

前沿趋势