01
算子优化概述
什么是算子、优化目标、性能度量 (FLOPs/吞吐量/延迟)
基础指标
02
GPU架构基础
CUDA核心、SM与Warp调度、内存层次结构
架构GPU
03
CUDA编程入门
Kernel函数、线程层次、<<<>>>语法
编程入门
04
内存访问优化
合并访问、对齐跨步、Bank Conflict避免
内存性能
05
共享内存应用
Shared Memory声明、Tile算法、矩阵乘法优化
共享内存tile
06
Warp级别优化
Shuffle指令、Warp级归约、聚合函数
Warp指令
07
Occupancy与资源分配
Occupancy计算、寄存器压力、Block大小选择
Occupancy调优
08
算子融合技术
Element-wise融合、Reduce融合、Fuse取舍
融合算子
09
卷积算子优化
Im2Col+GEMM、Winograd、cuDNN vs Tensor Core
卷积高性能
10
矩阵乘法深度优化
Tiling、Bank Conflict消除、向量化、双缓冲
GEMM优化
11
Attention机制优化
FlashAttention原理、分块计算、Online Softmax
AttentionFlash
12
LayerNorm与Softmax优化
数值稳定性、Warp级实现、融合版本
归一化Softmax
13
激活函数优化
ReLU/GELU/SwiGLU CUDA实现、近似与精度权衡
激活近似
14
显存管理基础
cudaMalloc/cudaFree开销、内存池
显存分配
15
显存复用策略
In-place操作、内存别名、生命周期分析
复用优化
16
梯度检查点 (Checkpointing)
前向重计算、时间-空间权衡、自动选择
Checkpoint重计算
17
混合精度训练
FP16/BF16/FP8、Loss Scaling、Master Weights
混合精度FP16
18
ZeRO优化器
ZeRO-1/2/3原理、分片策略、通信开销
ZeRO显存
19
显存碎片化问题
碎片产生、cudaMallocAsync、自定义分配器
碎片分配器
20
CPU Offloading
Tensor迁移、异步传输、带宽瓶颈
OffloadCPU
21
算子性能Profiling
Nsight Systems、Kernel耗时、Roofline模型
ProfilingNsight
22
自动调优 (Auto-tuning)
Triton入门、JIT编译、搜索空间设计
Auto-tuneTriton
23
图优化与计算调度
计算图优化、调度顺序、内存预分配
图优化调度
24
分布式训练显存优化
张量并行、流水线并行、数据并行对比
分布式并行
25
大模型推理优化
KV Cache管理、PagedAttention、Continuous Batching
推理LLM
26
量化算子实现
INT8/INT4量化、量化感知训练、反量化优化
量化INT8
27
稀疏算子优化
稀疏矩阵存储、SpMM优化、结构化稀疏
稀疏SpMM
28
自定义算子开发
PyTorch C++ Extension、CUDA Extension、Autograd
自定义Extension
29
算子测试与验证
数值正确性、性能回归、边界条件测试
测试验证
30
综合实战
从模型分析到算子优化全流程、端到端显存优化案例
实战项目