01
算子融合基础
什么是算子融合、为什么需要融合、融合的数学原理与计算图优化。
原理计算图
02
常见融合模式
Conv+BN+ReLU融合、Conv+Add+ReLU融合、LayerNorm融合、QKV融合。
Conv+BNLayerNormQKV
03
手动融合实现
基于PyTorch的Conv+BN融合代码实战、手动替换模型中的算子。
PyTorch代码实战
04
TensorRT自动融合
TensorRT的图优化引擎、使用trtexec进行自动融合、查看融合后的网络结构。
TensorRTtrtexec
05
ONNX Runtime融合
ONNX图优化Pass、使用ONNX Runtime进行推理优化、自定义融合算子。
ONNXRuntimePass
06
TVM/Ansor自动调优
TVM的算子融合策略、使用AutoTVM进行调优、Ansor的自动搜索。
TVMAnsor自动调优
07
XLA编译器融合
XLA的HLO图优化、Fusion Pass详解、JIT编译与融合。
XLAHLOJIT
08
融合后的精度验证
数值误差分析、逐层对比工具、精度调优策略。
精度误差分析
09
多后端部署实践
在NVIDIA GPU上部署融合模型、在ARM CPU上部署、在NPU上部署。
GPUARMNPU
10
性能分析工具
NVIDIA Nsight Systems、PyTorch Profiler、ONNX Runtime Profiling。
NsightProfiler
11
内存带宽优化
融合减少Kernel Launch开销、减少全局内存访问、利用共享内存。
内存带宽共享内存
12
计算密度提升
融合后计算密度的变化、如何衡量计算效率、Roofline模型分析。
计算密度Roofline
13
动态形状处理
动态Batch Size下的融合策略、动态序列长度优化、Padding优化。
动态形状Padding
14
混合精度与融合
FP16/INT8量化与融合的结合、精度损失控制、混合精度训练后的推理。
FP16INT8量化
15
注意力机制融合
FlashAttention原理、MHA融合、KV Cache优化。
AttentionFlashKV Cache
16
大模型推理优化
LLM的算子融合策略、PageAttention与融合、Continuous Batching。
LLMPageAttention
17
卷积网络融合实战
ResNet50的Conv+BN融合、MobileNet的深度可分离卷积融合。
ResNetMobileNet
18
Transformer融合实战
BERT的LayerNorm融合、GPT的QKV融合、FFN融合。
BERTGPTFFN
19
自定义CUDA Kernel融合
编写融合Kernel、使用CUDA Graph、Stream优化。
CUDAKernelGraph
20
编译优化框架
MLIR的Dialect与Pass、Triton语言编写融合算子、JAX的XLA编译。
MLIRTritonJAX
21
端侧推理引擎融合
MNN的算子融合、NCNN的融合策略、TFLite的Delegate机制。
MNNNCNNTFLite
22
图优化Pass开发
自定义ONNX Pass、TensorRT Plugin开发、TVM Relay Pass。
PassPluginRelay
23
融合与量化联合优化
QAT与融合的协同、PTQ后的融合调整、混合精度融合。
QATPTQ混合精度
24
多卡推理优化
模型并行与算子融合、流水线并行中的融合、张量并行融合。
多卡并行张量并行
25
推理延迟建模
延迟预测模型、融合收益预估、自动搜索最优融合策略。
延迟建模搜索
26
生产环境部署
模型版本管理、A/B测试融合效果、监控与告警。
生产A/B测试监控
27
边缘设备优化
Jetson Nano上的融合实践、树莓派上的优化、手机端部署。
Jetson树莓派手机端
28
融合与稀疏化结合
结构化稀疏与融合、剪枝后的融合优化、混合稀疏融合。
稀疏剪枝
29
前沿技术探索
动态编译与融合、可微分融合搜索、硬件感知的融合。
前沿动态编译硬件感知
30
综合项目实战
从PyTorch模型到TensorRT部署、端到端延迟优化、性能报告生成。
项目实战端到端报告