01
算子融合基础
什么是算子融合、为什么需要融合、数学原理与计算图优化
基础计算图
02
常见融合模式
逐元素融合、归约融合、矩阵乘法融合、卷积+激活、BatchNorm融合
模式卷积
03
GPU内存层次与融合
全局内存、共享内存、寄存器、带宽瓶颈、减少访存
GPU内存
04
CUDA Kernel融合实战
手写融合Kernel · 加法+ReLU · CUDA C实现 · 性能对比
CUDAKernel
05
TVM与Ansor自动融合
TVM融合Pass、Ansor自动调优、FuseOps策略、案例
TVM自动调优
06
TensorRT中的融合
图优化引擎、层融合、精度校准、INT8融合、部署
TensorRTINT8
07
XLA与JIT编译融合
HLO图、Fusion Pass、跨设备融合、PyTorch JIT对比
XLAJIT
08
PyTorch jit.script与fx
符号跟踪、图捕获、手动融合、torch.fx融合Pass
PyTorchfx
09
OneFlow与自动融合
Lazy模式、自动算子融合、吞吐对比实验
OneFlow自动
10
Horovod与分布式融合
梯度融合、AllReduce融合、通信计算重叠、大规模吞吐
分布式AllReduce
11
混合精度训练中的融合
AMP融合、FP16/BF16融合Kernel、Loss Scaling
混合精度AMP
12
FlashAttention与融合
FlashAttention原理、IO感知融合、Block-Sparse融合
AttentionIO
13
融合与显存优化
激活重计算、减少中间张量、Checkpointing策略
显存重计算
14
编译器前端融合
MLIR Dialect、Linalg融合、Tiling与Fusion、多级IR
MLIR编译器
15
Triton语言与融合
Triton编程模型、手写融合Kernel、CUDA性能对比
TritonDSL
16
图神经网络中的融合
GNN算子融合、SAGEConv/GAT融合、吞吐优化
GNN图网络
17
Transformer中的融合
Multi-Head Attention融合、FFN融合、LayerNorm、GPT加速
TransformerGPT
18
卷积网络中的融合
Conv+BN+ReLU融合、Depthwise Conv、MobileNet优化
卷积MobileNet
19
循环神经网络中的融合
LSTM/GRU融合、序列并行与融合、推理加速
RNNLSTM
20
自定义融合算子
CUDA Extension、PyTorch C++ Extension、autograd Function
自定义Extension
21
融合算子的自动测试与验证
数值精度验证、性能Profiling、单元测试框架
测试Profiling
22
Profiling工具与融合分析
Nsight Systems、PyTorch Profiler、融合前后对比
Nsight分析
23
融合策略选择
何时融合/不融合、融合粒度、自动搜索策略
策略自动搜索
24
多设备融合
CPU+GPU融合、NPU融合、异构计算挑战
异构NPU
25
融合与稀疏性
稀疏算子融合、结构化稀疏融合、混合稀疏训练
稀疏结构化
26
量化感知训练中的融合
QAT融合、伪量化节点融合、INT4/INT8融合
量化QAT
27
流水线并行中的融合
微批次融合、梯度累积融合、1F1B调度与融合
流水线1F1B
28
模型并行中的融合
张量并行融合、序列并行融合、通信融合
模型并行通信
29
端侧推理中的融合
NCNN/MNN融合、移动端算子融合、功耗与吞吐平衡
端侧NCNN
30
未来趋势
动态编译融合、AI编译器融合、硬件感知融合、可微分搜索
趋势可微分