01
AI训练算子概述
什么是算子 · 算子在深度学习中的地位 · 常见算子分类（计算密集型、访存密集型）
基础概念
02
性能分析基础
FLOPs · MACs · 内存带宽 · 算术强度 · Roofline模型入门
理论指标
03
Profiling工具实战
使用Nsight Systems进行时间线分析 · 定位热点算子
工具Nsight
04
矩阵乘法（GEMM）优化
Naive实现 · 循环分块（Tiling）· 向量化加载
核心GEMM
05
卷积算子（Conv2d）优化
Im2Col+GEMM · Winograd算法 · 直接卷积优化
卷积Im2Col
06
访存优化策略
数据复用 · 合并访问 · Bank Conflict避免 · Shared Memory使用
存储Shared
07
算子融合（Fuse）
Kernel融合原理 · Horizontal与Vertical融合 · 实战融合Conv+Bias+ReLU
融合Fuse
08
自动调优框架
TVM Ansor · Halide自动调度 · AutoTVM原理与实践
自动TVM
09
手写CUDA算子：LayerNorm
从零实现一个高效的LayerNorm Kernel
CUDALayerNorm
10
手写CUDA算子：Softmax
从零实现一个高效的Softmax Kernel（Online Softmax）
CUDASoftmax
11
手写CUDA算子：CrossEntropy Loss
从零实现一个高效的CrossEntropy Loss Kernel
CUDALoss
12
手写CUDA算子：FlashAttention V2
从零实现一个高效的FlashAttention V2 Kernel（Tile级别）
AttentionFlash
13
手写CUDA算子：TopK
从零实现一个高效的TopK Kernel（Radix Select / Bitonic Sort）
CUDATopK
14
手写CUDA算子：Sparse Embedding Lookup
从零实现一个高效的Sparse Embedding Lookup Kernel
稀疏Embedding
15
手写CUDA算子：Dropout+ResAdd+LayerNorm融合
从零实现一个高效的Dropout+ResAdd+LayerNorm融合Kernel
融合Dropout
16
手写CUDA算子：GELU激活函数
从零实现一个高效的GELU激活函数Kernel
激活GELU
17
手写CUDA算子：RMSNorm
从零实现一个高效的RMSNorm Kernel
归一化RMSNorm
18
手写CUDA算子：RoPE旋转位置编码
从零实现一个高效的RoPE（旋转位置编码）Kernel
位置编码RoPE
19
手写CUDA算子：SwigLU
从零实现一个高效的SwigLU Kernel
激活SwigLU
20
手写CUDA算子：Grouped Query Attention (GQA)
从零实现一个高效的Grouped Query Attention Kernel
GQAAttention
21
手写CUDA算子：Multi-Head Attention (MHA)
从零实现一个高效的Multi-Head Attention Kernel
MHAAttention
22
手写CUDA算子：Fused Attention (FlashAttention)
从零实现一个高效的Fused Attention（FlashAttention）Kernel
Flash融合
23
手写CUDA算子：AllReduce (Ring)
从零实现一个高效的AllReduce通信算子（Ring AllReduce）
通信AllReduce
24
手写CUDA算子：AllGather
从零实现一个高效的AllGather通信算子
通信AllGather
25
手写CUDA算子：ReduceScatter
从零实现一个高效的ReduceScatter通信算子
通信ReduceScatter
26
手写CUDA算子：Broadcast
从零实现一个高效的Broadcast通信算子
通信Broadcast
27
手写CUDA算子：P2P (Send/Recv)
从零实现一个高效的P2P通信算子（Send/Recv）
通信P2P
28
手写CUDA算子：NCCL通信封装
从零实现一个高效的NCCL通信算子（基于NCCL API封装）
NCCL通信
29
手写CUDA算子：AlltoAll
从零实现一个高效的AlltoAll通信算子
通信AlltoAll
30
手写CUDA算子：Gather
从零实现一个高效的Gather通信算子
通信Gather