第01章
算子替换概述
什么是算子替换 · 为什么需要 · 收益与风险 · 课程目标与前置知识
入门核心概念
第02章
计算图与算子基础
计算图概念 · 算子定义与分类 · Conv/MatMul/ReLU/Softmax · 性能瓶颈分析
基础计算图
第03章
算子替换的核心思想
等价变换原则 · 精度与速度权衡 · 硬件亲和性 · 替换策略总览
方法论策略
第04章
算子融合 (Fusion)
Conv+BN+ReLU融合 · MatMul+Add融合 · LayerNorm融合 · 内存访问优化
融合性能
第05章
大算子替换小算子
Group Conv替换 · Winograd替换卷积 · FFT替换大卷积核 · 矩阵分块与重组
卷积Winograd
第06章
低精度算子替换
FP16替换FP32 · INT8量化 · 混合精度训练 · QAT与算子替换
量化混合精度
第07章
稀疏化算子替换
结构化/非结构化稀疏 · 稀疏矩阵乘法 · 剪枝后替换策略 · 硬件加速器适配
稀疏剪枝
第08章
注意力机制算子替换
Flash Attention原理 · 标准Attention替换 · Fused Kernel · KV Cache优化
AttentionLLM
第09章
激活函数算子替换
ReLU系列(ReLU6, LeakyReLU) · GELU近似 · Swish/SiLU替换 · 融合进前层
激活函数融合
第10章
归一化算子替换
BatchNorm→LayerNorm · RMSNorm替换 · InstanceNorm/GroupNorm · 融合技巧
归一化LayerNorm
第11章
卷积算子替换
Im2Col+GEMM · Winograd · Depthwise Separable · 3x3替换大核
卷积优化
第12章
矩阵乘法算子替换
Tiling/Blocking · CUDA Core vs Tensor Core · cuBLAS/cuDNN · FlashAttention矩阵乘法
MatMulTensor Core
第13章
Pooling算子替换
MaxPool→AvgPool · 全局平均池化替换FC · Pooling与Strided Conv替换
池化替换
第14章
Reshape与Transpose算子替换
View/Reshape优化 · Transpose消除 · Permute融合 · Layout转换(NHWC vs NCHW)
内存布局Transpose
第15章
Reduce算子替换
Sum/Mean/Max并行化 · Warp Reduce/Block Reduce · 融合进前向算子
Reduce并行
第16章
Softmax算子替换
Online Softmax · Safe Softmax · FlashAttention Softmax · LogSoftmax优化
SoftmaxOnline
第17章
TopK与Sort算子替换
Radix Sort · Bitonic Sort · TopK近似算法 · 硬件加速排序
排序TopK
第18章
Embedding算子替换
Embedding Bag优化 · Hash Embedding · Pruned Embedding · GPU显存优化
Embedding显存
第19章
RNN/LSTM/GRU算子替换
GRU融合Kernel · LSTM门控融合 · RNN→Transformer · CUDA Graph捕获
RNNGRU
第20章
自定义算子替换
Triton高效算子 · CUDA C++自定义Kernel · TVM Relay · XLA自定义Call
自定义Triton
第21章
编译器驱动的算子替换
TVM Ansor/AutoTVM · XLA HLO Pass · Triton编译器 · MLIR Dialect转换
编译器TVM
第22章
运行时算子替换
PyTorch JIT替换 · TensorRT Plugin · ONNX Runtime替换 · 动态Shape策略
运行时TensorRT
第23章
算子替换的精度调试
数值误差分析 · 余弦相似度 · 逐层精度对比 · 混合精度调试工具
精度调试
第24章
算子替换的性能Profiling
NVIDIA Nsight Systems · PyTorch Profiler · TensorBoard · Roofline Model
ProfilingNsight
第25章
算子替换的自动化工具
Ansor自动搜索 · AutoTVM模板 · AutoKernel生成 · AutoScheduler
自动化搜索
第26章
算子替换在推理引擎中的应用
TensorRT · OpenVINO · ONNX Runtime EP · TFLite Delegates
推理TensorRT
第27章
算子替换在训练框架中的应用
PyTorch compile · JAX XLA · DeepSpeed · Megatron-LM算子优化
训练DeepSpeed
第28章
算子替换在边缘设备上的实践
ARM CPU优化 · Qualcomm Hexagon DSP · Apple Neural Engine · Mobile GPU
边缘ARM
第29章
算子替换在大模型中的应用
LLM推理加速 · FlashAttention · PageAttention · Continuous Batching
大模型LLM
第30章
综合实战：从模型到部署全流程
模型分析 · 瓶颈定位 · 替换方案设计 · 精度验证 · 性能测试 · 部署上线
实战全流程