01
算子优化概述
什么是算子、为什么需要优化、性能瓶颈分析
入门概念
02
硬件基础与计算模型
CPU/GPU/NPU架构差异、内存层次结构、计算与访存比
硬件体系结构
03
性能分析工具入门
Profiling工具（Nsight、perf）、性能计数器解读、热点识别
工具调优
04
编译优化基础
编译器优化选项（-O2/-O3）、内联与循环展开、向量化
编译基础
05
内存访问优化
缓存友好性、数据对齐、预取指令、减少缓存缺失
内存缓存
06
循环优化技术
循环分块（Tiling）、循环交换、循环融合、循环拆分
循环编译
07
SIMD向量化
SSE/AVX指令集、自动向量化与手动向量化、数据布局调整
SIMD指令集
08
并行计算基础
OpenMP多线程、任务并行与数据并行、负载均衡
并行OpenMP
09
GPU编程入门
CUDA编程模型、线程层次结构、内存管理
GPUCUDA
10
GPU算子优化
共享内存使用、Bank冲突避免、Warp调度优化
GPU优化
11
算子融合技术
Conv+BN融合、Element-wise融合、减少Kernel Launch开销
融合推理
12
计算图优化
图优化Pass、常量折叠、死代码消除、算子替换
图优化编译
13
量化技术基础
FP32/FP16/INT8量化、对称与非对称量化、校准方法
量化精度
14
量化算子实现
量化卷积、量化矩阵乘、反量化与重量化
量化实现
15
稀疏化技术
结构化稀疏与非结构化稀疏、剪枝策略、稀疏矩阵存储格式
稀疏剪枝
16
稀疏算子加速
稀疏卷积实现、稀疏矩阵乘、负载均衡问题
稀疏加速
17
内存复用与显存优化
内存池、显存碎片管理、梯度检查点
显存复用
18
异步执行与流水线
异步Kernel Launch、Host-Device并发、流水线调度
异步流水线
19
算子库使用与定制
cuDNN/cuBLAS/TensorRT、算子选择策略、自定义算子
库TensorRT
20
自动调优技术
AutoTVM/Ansor、贝叶斯优化、代价模型
自动调优TVM
21
JIT编译与动态形状
Triton语言、JIT编译原理、动态形状处理
JIT动态
22
模型部署优化
ONNX导出、TensorRT优化、INT8校准实战
部署ONNX
23
Transformer算子优化
Attention优化、FlashAttention原理、KV Cache优化
TransformerAttention
24
卷积算子优化
Im2Col+GEMM、Winograd算法、Direct卷积
卷积Winograd
25
矩阵乘优化
分块矩阵乘、Strassen算法、Systolic Array模拟
矩阵乘GEMM
26
激活函数与归一化算子
ReLU/Sigmoid优化、LayerNorm/BatchNorm实现
激活归一化
27
池化与下采样算子
MaxPool优化、AvgPool优化、Stride处理
池化下采样
28
Embedding算子优化
稀疏查找优化、Hash技巧、内存压缩
Embedding稀疏
29
多模态模型算子
视觉模型算子、文本模型算子、跨模态对齐
多模态视觉
30
综合实战与性能调优
端到端模型优化案例、性能调优方法论、总结与展望
实战总结