01
算子优化概述
什么是算子 · 优化目标与意义 · 核心挑战 (计算/访存瓶颈) · FLOPs & 带宽利用率
基础性能分析
02
GPU架构基础
CUDA核心 & SM · 内存层次结构 · Warp调度与线程束
GPU硬件
03
CUDA编程入门
编程模型 · Kernel编写 · 线程层次 · cudaMalloc/cudaMemcpy
CUDA入门
04
访存优化
合并访问 · 共享内存 & bank conflict · 数据预取
访存共享内存
05
计算优化
ILP · TLP · 循环展开 · 快速数学函数
计算ILP
06
算子融合
融合策略 (Element-wise/Reduce) · 收益与代价
融合优化
07
显存管理基础
分配与释放 · 碎片化 · 复用策略 (内存池/缓存)
显存内存池
08
显存优化技术
梯度检查点 · 混合精度(FP16/BF16) · 显存卸载
显存混合精度
09
计算图优化
静态图/动态图 · 常量折叠 · 死代码消除 · JIT编译
图优化JIT
10
Triton编程入门
Triton语言基础 · 与CUDA对比 · 编写简单算子
TritonDSL
11
Flash Attention原理
标准Attention显存瓶颈 · Tiling策略 · IO感知算法
AttentionIO感知
12
Flash Attention实现
分块计算 · Online Softmax · 反向传播
实现Online Softmax
13
高性能矩阵乘法
GEMM优化 · 分块(Tiling) · 向量化加载 · 寄存器缓存
GEMM高性能
14
卷积算子优化
Im2Col · Winograd · 直接卷积 · cuDNN原理
卷积Winograd
15
LayerNorm & BatchNorm优化
归一化计算模式 · 融合实现 · 反向传播优化
归一化融合
16
Softmax优化
数值稳定性 · Online Softmax · 分段计算
Softmax数值稳定
17
TopK & Sort算子优化
Radix Sort · Bitonic Sort · GPU高效实现
排序TopK
18
Embedding算子优化
稀疏查找 · 哈希映射 · 显存压缩
Embedding稀疏
19
激活函数算子优化
ReLU · GELU · SwiGLU 融合与优化
激活函数融合
20
Dropout算子优化
随机掩码生成 · 融合Dropout与计算
Dropout融合
21
AllReduce通信优化
Ring AllReduce · Tree AllReduce · NCCL原理
通信AllReduce
22
流水线并行 & 显存管理
1F1B调度 · 显存均衡 · 通信隐藏
流水线显存
23
张量并行 & 显存管理
Column/Row-wise切分 · 通信开销分析
张量并行显存
24
ZeRO优化器
ZeRO-1/2/3原理 · 显存节省分析 · 实现细节
ZeRO显存优化
25
CPU-GPU异构计算
数据加载卸载 · CPU辅助计算 · 异步传输
异构异步
26
算子性能Profiling
Nsight Systems/Compute · 性能瓶颈定位
ProfilingNsight
27
自动调优 (Auto-tuning)
TVM/Ansor原理 · 搜索空间 · 代价模型
自动调优TVM
28
量化算子优化
INT8/INT4量化 · 量化感知训练 · 推理优化
量化INT8
29
稀疏算子优化
CSR/COO格式 · 稀疏矩阵乘法 · 结构化稀疏
稀疏CSR
30
综合实战
PyTorch模型分析 · 性能瓶颈定位 · 端到端加速
实战端到端