01
算子优化概述
什么是算子 · 算子在AI框架中的角色 · 性能优化的意义与挑战
基础概念
02
硬件基础与计算模型
GPU架构概览（SM、Warp、Memory Hierarchy）· CPU与GPU协同
GPU架构
03
CUDA编程基础
CUDA C/C++基础 · Kernel函数编写 · 线程层次结构（Grid/Block/Thread）
CUDA编程
04
内存管理与优化
全局内存 · 共享内存 · 寄存器 · 常量内存 · 纹理内存使用与优化
内存优化
05
Bank Conflict与Shared Memory优化
Shared Memory Bank结构 · Bank Conflict消除 · Padding技术
共享内存Bank
06
Warp级别优化
Warp Divergence · Warp Shuffle指令 · Warp级归约
Warp指令
07
访存模式优化
合并访问（Coalesced Access）· 对齐访问 · 数据预取
访存带宽
08
计算优化与指令级并行
ILP · FMA · Intrinsic函数的使用
ILPIntrinsic
09
Occupancy与资源权衡
Occupancy概念 · Block/Thread配置 · 寄存器压力平衡
Occupancy配置
10
Profiling与性能分析工具
Nsight Systems · Nsight Compute · nvprof 性能瓶颈定位
Profiling工具
11
矩阵乘法优化（上）
Naive实现 · Tiling技术 · Shared Memory分块
GEMMTiling
12
矩阵乘法优化（下）
Vectorized Memory Access · Bank Conflict消除 · 1D/2D Blocking
GEMMBlocking
13
卷积算子优化（上）
Im2Col + GEMM方法 · Winograd算法原理
卷积Winograd
14
卷积算子优化（下）
Direct Convolution · Fused Convolution与算子融合
卷积融合
15
Reduce算子优化
Warp级Reduce · Block级Reduce · 多阶段Reduce · 原子操作优化
Reduce原子操作
16
Softmax算子优化
Online Softmax算法 · Safe Softmax · 数值稳定性处理
SoftmaxOnline
17
LayerNorm与BatchNorm优化
融合Kernel设计 · Welford算法实现方差计算
归一化Welford
18
Activation算子优化
ReLU · GELU · Sigmoid 融合与近似计算
激活近似
19
ElementWise算子优化
逐元素向量化 · 循环展开 · 算子融合
ElementWise向量化
20
Attention机制优化（上）
FlashAttention原理 · Tiling策略 · Online Softmax应用
AttentionFlash
21
Attention机制优化（下）
Block-Sparse Attention · PageAttention · KV Cache优化
稀疏KV Cache
22
算子融合策略
Horizontal/Vertical Fusion · Pass设计 · TVM/XLA融合思想
融合编译器
23
自动调优与Auto-Tuning
OpenTuner · Ansor · AutoTVM原理与使用
自动调优搜索
24
Triton语言入门
Triton编程模型 · Block-Level编程 · 与CUDA对比
TritonDSL
25
Triton实战优化
用Triton实现FlashAttention · Softmax · Reduce
Triton实战
26
多卡通信优化
NCCL基础 · AllReduce/AllGather · Ring与Tree算法
NCCL多卡
27
算子性能基准测试
Benchmark设计原则 · 正确性验证 · 性能可复现性
Benchmark测试
28
算子库与工具链
cuBLAS · cuDNN · CUTLASS · Thrust 使用与二次开发
库cuBLAS
29
实际案例：LLM推理中的算子优化
GEMV · MHA · FFN融合
LLM推理
30
算子优化前沿与趋势
MoE优化 · 量化算子 · 稀疏计算 · 未来架构优化思路
前沿趋势