01
算子优化概述
什么是算子优化、为什么需要、核心目标：计算加速 & 内存节省
基础概念
02
计算图与算子
计算图概念 · 算子定义 · 前向/反向 · Conv/MatMul/Softmax
核心图解
03
硬件基础与性能模型
GPU架构(SM/Warp/Shared) · CPU协同 · Roofline模型
GPU性能
04
CUDA编程基础回顾
Grid/Block/Thread · 内存层次 · Kernel编写与Launch
CUDA编程
05
CUDA性能分析工具
Nsight Systems · Nsight Compute · nvprof/ncu · 瓶颈识别
工具调优
06
算子融合
融合好处 · 减少Kernel Launch/访存 · Conv+BN+ReLU等
融合加速
07
内存访问优化
合并访问 · Shared Memory · Bank Conflict · 预取
内存优化
08
计算优化
ILP · TLP · Warp级优化 · Tensor Core混合精度
计算TensorCore
09
显存管理基础
cudaMalloc/Free · 碎片化 · 带宽与延迟
显存基础
10
显存复用技术
内存池 · In-place/Buffer共享 · PyTorch Caching Allocator
复用池化
11
显存优化技术
梯度检查点 · 混合精度(FP16/BF16) · ZeRO优化器
显存ZeRO
12
显存卸载
CPU-GPU交换 · NVLink/PCIe · Layer-wise/Tensor卸载
卸载通信
13
算子自动调优
TVM/Ansor/Triton · 搜索空间 · 成本模型 · 硬件适配
自动调优
14
编译器优化
XLA · TorchScript/TorchDynamo · 图优化 · JIT
编译器XLA
15
卷积算子优化(上)
Im2Col+GEMM · Winograd · FFT · Direct卷积对比
卷积算法
16
卷积算子优化(下)
分组卷积 · 深度可分离 · 转置卷积优化
分组深度可分离
17
矩阵乘法(MatMul)优化
Naive · Tiling · Shared Memory · Tensor Core
MatMulGEMM
18
Attention机制优化
FlashAttention · 分块Tiling · 显存节省 · 稀疏Attention
AttentionFlash
19
归一化层优化
BN融合 · LayerNorm CUDA实现 · RMS Norm优化
归一化LayerNorm
20
激活函数与损失函数优化
ReLU/GELU/Sigmoid CUDA · Softmax数值稳定 · CrossEntropy融合
激活损失
21
Reduce操作优化
Sum/Max/Min并行归约 · Warp Shuffle · Block归约
归约Shuffle
22
Gather与Scatter操作优化
Embedding Lookup · Index访存 · Sparse操作
Gather稀疏
23
动态形状处理
动态形状挑战 · Padding · 动态编译 · Bucketing
动态形状
24
多卡训练中的显存管理
数据并行 · 模型并行 · 流水线并行 · 张量并行
多卡并行
25
分布式通信优化
AllReduce(Ring/Tree) · AllGather · ReduceScatter · 计算通信重叠
通信分布式
26
大模型训练显存挑战
显存占用分析 · ZeRO-1/2/3 · 3D并行(DP+TP+PP)
大模型ZeRO
27
推理优化与显存管理
推理vs训练 · KV Cache优化 · Continuous Batching · PagedAttention
推理KV
28
量化与压缩
INT8/INT4量化 · 激活量化 · QAT · 剪枝蒸馏对显存影响
量化压缩
29
算子优化实践案例(一)
PyTorch→自定义CUDA Kernel(LayerNorm) · 性能对比调优
实战Kernel
30
算子优化实践案例(二)
端到端优化Transformer Block · 融合/显存/通信 · 分析报告
综合Transformer