01
NPU基础与算子融合概述
NPU架构简介 · 算子融合的定义与动机 · 性能收益分析
基础概念
02
常见融合模式（一）
Conv+BatchNorm · Conv+ReLU · Conv+Bias+ReLU
ConvBN
03
常见融合模式（二）
Element-wise · Add+ReLU · Mul+Add
激活逐元素
04
常见融合模式（三）
MatMul+Add · GELU近似 · LayerNorm融合
Transformer归一化
05
融合策略与编译器实现
TVM/MLIR融合Pass · 手动vs自动 · 精度调试
编译器自动融合
06
Attention机制中的融合
QKV投影融合 · Softmax+Scale · FlashAttention分块
AttentionMHA
07
卷积网络中的融合
Depthwise+Pointwise · Conv+BN+ReLU六合一 · 多尺度
卷积MobileNet
08
Transformer中的融合
FFN层融合 · Residual+LayerNorm · Cross-Attention
Transformer残差
09
激活函数融合
Sigmoid+Mul (Swish) · Tanh+Add · Hardswish
激活Swish
10
内存优化型融合
In-Place · Reduce+Broadcast · Reshape+Transpose
内存带宽
11
量化感知融合
Q/DQ节点融合 · 伪量化消除 · Int8卷积融合
量化INT8
12
动态Shape下的融合
动态Batch · 动态序列长度 · 条件分支融合
动态Shape
13
多核并行融合
数据并行 · 模型并行 · 流水线并行融合
并行多核
14
图优化与子图分割
计算图优化 · 子图划分 · 调度与执行
图优化子图
15
算子融合的数学原理
线性变换合并 · 非线性近似 · 泰勒展开应用
数学近似
16
NPU内存层级与融合
L1/L2缓存感知 · DDR带宽优化 · 寄存器级融合
内存层级缓存
17
融合中的精度控制
FP16/INT8混合精度 · 精度回退 · 黑名单机制
精度混合精度
18
自动融合搜索
动态规划搜索 · 贪心策略 · 强化学习融合
自动搜索RL
19
融合代码生成
TIR/Schedule · 内联汇编 · 向量化指令
代码生成TIR
20
调试与Profiling工具
NPU Profiler · 性能对比 · 瓶颈分析
调试Profiling
21
CV模型融合实战（一）
ResNet50 · Conv+BN融合 · 残差块融合
ResNetCV
22
CV模型融合实战（二）
MobileNetV3 · SE模块融合 · 激活函数融合
MobileNetSE
23
NLP模型融合实战（一）
BERT融合 · Embedding融合 · Attention融合
BERTNLP
24
NLP模型融合实战（二）
GPT系列 · Causal Mask · KV Cache融合
GPTKV Cache
25
多模态模型融合
CLIP · Vision Transformer · Cross-Modal融合
多模态CLIP
26
融合中的稀疏性利用
稀疏卷积 · 稀疏注意力 · 结构化稀疏
稀疏结构化
27
融合与算子库协同
cuDNN/cuBLAS · OneDNN适配 · 自定义算子
算子库cuDNN
28
端侧NPU融合优化
高通SNPE · 联发科APU · 华为昇腾
端侧SNPE
29
融合性能评估指标
延迟 · 吞吐量 · 内存带宽利用率 · 算力利用率
指标性能
30
未来趋势与挑战
可微分融合 · 硬件感知融合 · 大模型新范式
趋势前沿