01
算子优化全景图
什么是算子、推理吞吐的核心瓶颈、优化方法论总览。
概览思维
02
计算访存比分析
Roofline模型详解、如何定位算子是计算密集型还是访存密集型。
Roofline分析
03
内存布局优化
NHWC vs NCHW、数据排布对缓存命中率的影响、实战：手动调整Tensor布局。
布局缓存
04
算子融合策略
Conv+BatchNorm+ReLU融合、融合后的计算图变化、使用TVM/Fuser自动融合。
融合TVM
05
循环分块与向量化
循环分块原理、利用SIMD指令集、编译器自动向量化 vs 手写intrinsics。
SIMD分块
06
多线程并行
OpenMP基础、线程池设计、任务拆分与负载均衡、实战：并行化一个卷积算子。
OpenMP线程
07
CUDA基础与GPU算子
GPU架构概览、线程层次结构、Grid/Block/Thread映射、实战：手写一个GPU上的向量Add。
CUDAGPU
08
共享内存与Bank Conflict
共享内存使用场景、避免Bank Conflict、实战：优化矩阵转置。
共享内存Bank
09
Warp级优化
Warp divergence、Warp shuffle指令、实战：使用shuffle做Reduce。
WarpShuffle
10
CUDA Stream与异步执行
Stream概念、Host与Device异步、实战：Overlap计算与数据传输。
Stream异步
11
Tensor Core编程
Tensor Core原理、WMMA API使用、实战：利用Tensor Core加速矩阵乘法。
Tensor CoreWMMA
12
算子编译技术
TVM原理简介、Ansor自动调优、实战：用TVM调优一个Conv2d。
TVMAnsor
13
Triton语言入门
Triton vs CUDA、Triton编程模型、实战：用Triton实现Softmax。
TritonSoftmax
14
FlashAttention原理
标准Attention的访存问题、FlashAttention的tiling策略、实战：理解其forward pass。
AttentionTiling
15
稀疏算子优化
稀疏矩阵格式（CSR/COO）、稀疏矩阵乘法、实战：利用cuSPARSE加速。
稀疏cuSPARSE
16
量化算子优化
INT8量化原理、量化感知训练、实战：实现一个高效的INT8 GEMM。
INT8量化
17
图优化与计算调度
计算图优化（常量折叠、死代码消除）、算子调度策略、实战：使用ONNX Runtime优化。
图优化ONNX
18
内存池与显存管理
自定义内存分配器、显存碎片问题、实战：实现一个简单的内存池。
内存池显存
19
算子性能Profiling
NVIDIA Nsight Systems使用、NVIDIA Nsight Compute使用、实战：定位一个算子的性能瓶颈。
NsightProfiling
20
CPU算子优化
AVX指令集、CPU缓存优化、实战：优化一个CPU上的LayerNorm。
AVXCPU
21
ARM端算子优化
NEON指令集、移动端推理引擎（如MNN）、实战：优化一个ARM上的Depthwise Conv。
NEONARM
22
算子自动调优
AutoTVM原理、贝叶斯优化搜索、实战：用AutoTVM搜索最佳tiling参数。
AutoTVM调优
23
模型部署中的算子优化
ONNX导出与优化、TensorRT集成、实战：用TensorRT加速ResNet50。
TensorRT部署
24
动态形状算子优化
动态形状的挑战、Bucketing策略、实战：优化一个动态Batch的算子。
动态形状Bucketing
25
算子库的使用
cuDNN、cuBLAS、oneDNN、实战：用cuBLAS替换手写矩阵乘法。
cuBLAS库
26
自定义算子的注册与调用
PyTorch自定义算子、C++ Extension、实战：注册一个自定义算子到PyTorch。
PyTorchC++
27
算子测试与验证
数值正确性验证、性能回归测试、实战：编写一个算子的单元测试。
测试验证
28
端到端推理系统优化
从模型到部署的全链路优化、实战：优化一个BERT模型的推理延迟。
全链路BERT
29
前沿算子优化技术
MoE算子优化、长序列Attention优化、实战：理解FlashAttention-2的改进。
MoEFlashAttn2
30
算子优化项目实战
综合运用所学知识，优化一个真实模型（如LLaMA）的推理吞吐。
LLaMA实战