01
算子融合概述
什么是算子融合 · 为什么需要融合 · 收益分析
基础概念
02
计算图基础
计算图概念 · 静态图与动态图 · 与融合的关系
图优化框架
03
常见融合模式 (上)
Conv+BN · Conv+ReLU · Conv+Bias+ReLU
CNN算子
04
常见融合模式 (下)
Add+ReLU · MatMul+Add · LayerNorm融合
Transformer归一化
05
水平融合与垂直融合
同类型合并 · 流水线相邻合并 · 策略选择
策略编译
06
TVM算子融合
融合规则 · FuseOps pass · 编译/运行时融合
TVM编译器
07
TensorRT算子融合
图优化引擎 · 层融合 · 插件化自定义融合
TensorRT推理
08
XLA算子融合
HLO优化 · Layout Assignment · Fusion pass
XLATPU
09
PyTorch JIT融合
TorchScript · fuse_conv_bn · optimize_for_inference
PyTorchJIT
10
ONNX Runtime融合
图优化pass · Gelu融合 · Attention融合
ONNX推理
11
FlashAttention原理
标准Attention瓶颈 · Tiling策略 · IO感知融合
AttentionIO
12
FlashAttention实现
分块计算 · Online Softmax · 反向传播融合
CUDATiling
13
FlashAttention v2与v3
v2序列并行 · v3 FP8支持 · 性能对比
v2/v3FP8
14
PageAttention与vLLM
Paged KV Cache · vLLM调度 · 融合推理
vLLMKV
15
算子融合的硬件适配
SM架构 · Tensor Core · 内存带宽优化
GPU硬件
16
CUDA Graph与融合
CUDA Graph捕获 · 图重放 · 与融合结合
CUDAGraph
17
混合精度训练基础
FP16/BF16 · Loss Scaling · 与融合关系
混合精度FP16
18
自动混合精度 (AMP)
PyTorch AMP · GradScaler · 融合精度问题
AMP自动
19
梯度累积与融合
梯度累积原理 · 微批次调度 · 融合梯度更新
梯度累积
20
ZeRO优化器与融合
ZeRO 1/2/3 · 通信计算重叠 · 融合AllReduce
ZeRO通信
21
FSDP (完全分片数据并行)
FSDP原理 · 分片策略 · 与算子融合协同
FSDP并行
22
张量并行与融合
张量切分 · 通信算子融合 · Megatron-LM
张量并行Megatron
23
流水线并行与融合
GPipe/1F1B · 微批次融合 · 通信隐藏
流水线调度
24
序列并行
序列切分 · Ring Attention · 长序列融合
序列并行Ring
25
Kernel编译优化
Triton语言 · 手写融合Kernel · 自动调优
TritonKernel
26
编译器后端融合
MLIR Dialect · Linalg融合 · Codegen优化
MLIR后端
27
推理加速中的融合
量化与融合 · INT8/INT4 · KV Cache量化融合
推理量化
28
Speculative Decoding
投机解码 · 草稿模型融合 · 验证与回退
解码投机
29
连续批处理 (Continuous Batching)
动态调度 · KV Cache管理 · 融合推理引擎
批处理动态
30
端到端训练加速案例
模型定义到部署 · 性能调优 · 未来趋势
实战全流程