第1章
算子优化概述
什么是算子 · 算子优化的意义 · 推理流程中的瓶颈分析
基础概念
第2章
计算图优化
图融合 · 常量折叠 · 死代码消除 · 算子替换
图优化编译
第3章
内存优化
内存复用 · 内存池 · 数据布局优化 (NHWC vs NCHW)
内存布局
第4章
并行计算
线程级并行 · 指令级并行 · 数据并行 · 模型并行
并行加速
第5章
算子融合
Conv+BatchNorm+ReLU融合 · Multi-Head Attention融合
融合Transformer
第6章
量化技术
INT8量化 · 量化感知训练 · 动态量化 · 静态量化
量化INT8
第7章
剪枝与稀疏化
结构化剪枝 · 非结构化剪枝 · 稀疏矩阵计算优化
剪枝稀疏
第8章
编译优化
TVM · XLA · MLIR · Triton 等编译器技术
编译器TVM
第9章
硬件加速
GPU CUDA优化 · Tensor Core使用 · NPU/TPU适配
硬件CUDA
第10章
算子库优化
cuDNN · cuBLAS · oneDNN · TensorRT
算子库TensorRT
第11章
内存带宽优化
数据预取 · 缓存友好访问 · DMA传输
带宽缓存
第12章
算子自动调优
AutoTVM · Ansor · AutoSchedule
自动调优搜索
第13章
动态形状优化
动态batch处理 · 可变长度序列优化
动态序列
第14章
图切分与分布式
模型切分策略 · 流水线并行 · 张量并行
分布式切分
第15章
算子性能分析
Profiling工具 (NVIDIA Nsight, Intel VTune) · 性能热点识别
ProfilingNsight
第16章
卷积算子优化
im2col · Winograd · FFT卷积 · 直接卷积
卷积Winograd
第17章
矩阵乘法优化
分块矩阵乘法 · Strassen算法 · 稀疏矩阵乘法
矩阵GEMM
第18章
激活函数优化
ReLU系列 · GELU · Sigmoid的近似计算
激活近似
第19章
归一化层优化
BatchNorm · LayerNorm · GroupNorm融合与加速
归一化融合
第20章
注意力机制优化
FlashAttention · 稀疏注意力 · 线性注意力
AttentionFlash
第21章
循环神经网络优化
LSTM/GRU算子融合 · 双向RNN优化
RNNLSTM
第22章
Embedding优化
稀疏Embedding查找 · 哈希Embedding · 混合精度Embedding
Embedding稀疏
第23章
数据预处理加速
数据加载流水线 · 预处理算子卸载到GPU
数据流水线
第24章
算子内核融合
Element-wise算子融合 · Reduce算子优化
内核融合
第25章
低精度计算
FP16 · BF16 · TF32 · 混合精度训练与推理
低精度混合精度
第26章
算子调度优化
算子执行顺序优化 · 异步执行 · 重叠计算与通信
调度异步
第27章
模型部署优化
ONNX导出优化 · TensorRT部署 · OpenVINO部署
部署ONNX
第28章
端侧推理优化
NCNN · MNN · TFLite的算子优化策略
端侧NCNN
第29章
算子测试与验证
数值精度验证 · 性能回归测试 · 自动化测试框架
测试验证
第30章
综合案例
从模型到部署的完整算子优化流程实战 (ResNet-50)
实战ResNet