第01章
算子优化概述
什么是算子 · 算子优化的意义 · 优化目标（性能、内存、精度） · 常见优化手段概览
基础概念
第02章
硬件基础与计算模型
CPU/GPU/NPU架构差异 · 存储层次（L1/L2 Cache, HBM, DDR） · 计算单元（SIMD, Tensor Core） · 带宽与延迟
硬件体系结构
第03章
性能分析工具入门
Linux perf · NVIDIA Nsight Systems · Nsight Compute · Intel VTune · AMD ROCProfiler
工具profiling
第04章
Profiling实战
使用Nsight Systems分析算子瓶颈 · 识别计算密集型和访存密集型算子 · 火焰图解读
实战Nsight
第05章
Roofline模型
Roofline模型原理 · 计算强度（Arithmetic Intensity） · 如何用Roofline指导优化 · 实战绘制Roofline图
模型分析
第06章
循环优化基础
循环展开（Loop Unrolling） · 循环分块（Loop Tiling） · 循环交换（Loop Interchange） · 循环融合（Loop Fusion）
循环编译
第07章
内存访问优化
连续内存访问 · 数据对齐 · 缓存行利用 · 避免Cache Miss · 预取（Prefetching）
内存缓存
第08章
向量化编程
SIMD指令集（SSE/AVX/NEON） · 自动向量化与手动向量化 · 使用Intrinsics · 向量化中的对齐与步长
SIMD向量化
第09章
并行计算基础
OpenMP入门 · 线程级并行 · 任务调度 · 数据竞争与同步 · 归约操作优化
OpenMP并行
第10章
GPU编程基础
CUDA编程模型 · 线程层次（Grid/Block/Warp） · 内存层次（Global/Shared/Local） · Warp Divergence
CUDAGPU
第11章
GPU算子优化
Shared Memory优化 · Bank Conflict避免 · Coalesced Access · Occupancy调优
GPUShared Memory
第12章
CUDA高级优化
Warp Shuffle指令 · 原子操作优化 · Stream与异步执行 · CUDA Graphs
CUDA高级
第13章
Triton语言入门
Triton编程模型 · 与CUDA对比 · 编写第一个Triton算子 · Triton的自动调优
TritonDSL
第14章
TVM与Ansor
TVM架构概览 · Relay IR · AutoTVM与Ansor自动搜索 · 调度原语（Schedule Primitives）
TVM自动调度
第15章
MLIR与Dialect
MLIR基础概念 · Dialect设计 · Linalg Dialect · Vector Dialect · Tiling与Folding Pass
MLIR编译器
第16章
算子融合（Operator Fusion）
水平融合与垂直融合 · Kernel融合策略 · 内存带宽节省 · 实战：Conv+BN+ReLU融合
融合Kernel
第17章
量化算子优化
INT8/INT4量化原理 · 量化算子实现 · 对称量化与非对称量化 · 量化感知训练与后训练量化
量化INT8
第18章
稀疏算子优化
稀疏矩阵存储格式（CSR/COO/BSR） · 稀疏矩阵乘法优化 · 结构化稀疏 · 硬件稀疏支持（NVIDIA Ampere Sparse Tensor Core）
稀疏SpMM
第19章
注意力机制算子优化
FlashAttention原理 · 分块策略 · Online Softmax · KV Cache优化 · PagedAttention
AttentionTransformer
第20章
卷积算子优化
Im2Col+GEMM · Winograd算法 · Direct Convolution · 内存布局优化（NHWC vs NCHW）
卷积Winograd
第21章
归一化算子优化
BatchNorm融合 · LayerNorm优化 · RMSNorm实现 · 在线统计计算
归一化LayerNorm
第22章
激活函数算子优化
ReLU系列 · Sigmoid/Tanh近似计算 · GELU快速实现 · Swish/SiLU优化
激活函数近似
第23章
Reduce算子优化
Warp级Reduce · Block级Reduce · 多阶段Reduce · 原子操作替代方案
Reduce归约
第24章
Gather/Scatter算子优化
内存访问模式分析 · 缓存优化 · 使用纹理内存 · Scatter原子操作优化
GatherScatter
第25章
自动调优（Auto-tuning）
搜索空间定义 · 代价模型（Cost Model） · 贝叶斯优化 · 遗传算法 · 进化搜索
自动调优搜索
第26章
编译器优化
LLVM Pass · 循环优化Pass · 内联与常量传播 · 死代码消除 · 指令调度
LLVM编译优化
第27章
JIT编译优化
PyTorch JIT · Triton JIT · XLA编译 · 动态形状处理 · Caching机制
JIT动态编译
第28章
算子库开发
cuDNN/cuBLAS/cuSPARSE接口封装 · 自定义算子库设计 · 多后端支持（CUDA/ROCm/OneAPI）
算子库封装
第29章
调试与验证
数值精度验证（相对误差/绝对误差） · 性能回归测试 · 内存泄漏检测 · 边界条件测试
调试验证
第30章
综合实战
从零优化一个Transformer算子（LayerNorm+Attention+FFN） · 端到端性能调优 · 部署到生产环境
实战Transformer