01
算子融合概述
什么是算子融合、为什么需要、收益分析（减少访存、Kernel Launch开销）
基础概念
02
计算图与算子
计算图基本概念、算子定义、数据流依赖
计算图依赖
03
通信开销分析
分布式通信模式(AllReduce/AllGather)、延迟带宽、流水线重叠
通信分布式
04
融合策略基础
水平融合、垂直融合、融合粒度选择
策略粒度
05
典型融合模式
Conv+BN+ReLU、MatMul+Add、LayerNorm融合
模式CNN
06
TVM与算子融合
TVM融合Pass、FuseOps原理、融合规则定义
TVM编译器
07
XLA与算子融合
XLA融合策略、HLO/LHLO优化、自动融合机制
XLAHLO
08
TensorRT与算子融合
图优化引擎、层融合(Layer Fusion)、插件化融合
TensorRT推理
09
PyTorch JIT与融合
TorchScript/JIT编译、FusionGroup、自动融合
PyTorchJIT
10
OneFlow的算子融合
Lazy模式、Actor模型与融合、自动并行融合
OneFlow自动并行
11
手动融合实践
手写融合Kernel(CUDA)、CuDNN融合API、性能调优
CUDA调优
12
自动融合框架
AutoTVM/AutoSchedule、Ansor自动融合、Halide自动调度
自动调度Ansor
13
通信融合
梯度AllReduce融合、梯度累积、通信算子融合(AllReduce+ReLU)
通信梯度
14
流水线并行中的融合
流水线气泡与融合、1F1B策略算子合并、跨Stage通信优化
流水线并行
15
张量并行中的融合
Column/Row并行融合、ReduceScatter融合、通信域优化
张量并行通信
16
数据并行中的融合
梯度同步融合、AllReduce树形/环形融合、梯度压缩融合
数据并行梯度
17
混合并行中的融合
3D并行融合策略、ZeRO优化与融合、Megatron-LM实践
混合并行ZeRO
18
编译器前端融合
MLIR Dialect融合、TOSA/StableHLO融合、Pass Pipeline
MLIR前端
19
编译器后端融合
LLVM循环融合、NVVM指令级融合、CUDA Graph融合
后端LLVM
20
内存优化与融合
激活值重计算与融合、内存碎片、In-Place操作融合
内存激活
21
动态形状与融合
动态形状挑战、Padding与融合、动态Shape编译优化
动态形状编译
22
稀疏算子的融合
稀疏矩阵乘法融合、稀疏Attention融合、结构化稀疏
稀疏Attention
23
Attention机制的融合
FlashAttention融合、Multi-Head算子合并、KV Cache优化
AttentionFlash
24
MoE模型的融合
专家路由融合、专家计算融合、MoE通信融合
MoE路由
25
量化算子的融合
量化/反量化与计算融合、INT8 GEMM融合、QAT融合
量化INT8
26
推理场景的融合
ONNX Runtime融合、TensorRT推理融合、Triton融合
推理ONNX
27
训练场景的融合
混合精度训练融合、Gradient Checkpointing融合、分布式融合
训练混合精度
28
性能分析工具
Nsight Systems融合分析、Chrome Trace Kernel视图、自定义Profiler
分析Nsight
29
融合的边界与权衡
过度融合问题、寄存器压力与融合、自动搜索决策
权衡寄存器
30
未来趋势
编译器深度融合、硬件原生支持融合、AI for Compiler融合优化
趋势AI编译器