01
课程导论与性能分析
算子优化的本质、显存瓶颈分析、Profiling工具(Nsight Systems/PyTorch Profiler)使用。
ProfilingNsight
02
CUDA基础回顾
线程层次结构、内存层次结构、Warp执行模型。
线程Warp
03
Kernel Launch开销
Launch Overhead测量、减少Launch次数策略、Kernel Fusion原理。
Fusion开销
04
访存优化(一)
合并访问(Coalesced Access)原理与实验、Global Memory带宽利用率。
Coalesced带宽
05
访存优化(二)
Shared Memory使用技巧、Bank Conflict避免、Padding技术。
SharedBank
06
访存优化(三)
寄存器使用策略、Local Memory溢出、Occupancy与性能权衡。
寄存器Occupancy
07
计算优化(一)
算术强度与计算吞吐、FMA指令利用、Intrinsics内建函数。
FMAIntrinsics
08
计算优化(二)
Warp级原语(Warp Shuffle)、协作组(Cooperative Groups)。
Shuffle协作
09
算子融合(一)
Elementwise Fusion、Pointwise算子融合实战(Softmax/GELU)。
FusionSoftmax
10
算子融合(二)
Reduce Fusion、LayerNorm/BatchNorm融合实现。
ReduceLayerNorm
11
算子融合(三)
FlashAttention原理与实现、Memory-efficient Attention。
FlashAttn高效
12
显存优化(一)
显存复用技术、In-place操作、Gradient Checkpointing原理。
Checkpoint复用
13
显存优化(二)
ZeRO系列优化器、显存碎片整理、显存池化技术。
ZeRO碎片
14
显存优化(三)
CPU Offloading、NVLink/NVSwitch拓扑感知分配。
OffloadNVLink
15
显存优化(四)
Activation Compression、混合精度训练(AMP)显存收益。
AMP压缩
16
算子实现(一)
手写Softmax Kernel、从Naive到优化的完整演进。
Softmax手写
17
算子实现(二)
手写LayerNorm Kernel、Row-major vs Col-major布局。
LayerNorm布局
18
算子实现(三)
手写FlashAttention Kernel、Tiling策略详解。
FlashAttnTiling
19
算子实现(四)
手写TopK/Sorting Kernel、Radix Sort在GPU上的实现。
TopKRadix
20
自动调优
TVM/Ansor/Triton入门、Cost Model与搜索空间设计。
TVMTriton
21
Triton实战(一)
Triton语言基础、Block-Level编程模型、Masking处理。
TritonBlock
22
Triton实战(二)
用Triton实现Fused Softmax、性能对比CUDA。
Fused对比
23
Triton实战(三)
用Triton实现FlashAttention、自动调优集成。
FlashAttn调优
24
图优化(一)
计算图优化原理、代数化简、常量折叠、死代码消除。
图优化折叠
25
图优化(二)
算子替换与模式匹配、TorchScript/TorchDynamo/JIT编译。
JITDynamo
26
图优化(三)
TensorRT/ONNX Runtime优化、INT8量化与Calibration。
TensorRTINT8
27
分布式训练优化
Data Parallelism、Tensor Parallelism、Pipeline Parallelism显存分析。
分布式并行
28
大模型推理优化
KV Cache优化、PageAttention原理、Continuous Batching。
KVPageAttn
29
端到端实战(一)
从PyTorch模型出发，Profiling → 瓶颈识别 → 算子替换 → 显存优化。
实战PyTorch
30
端到端实战(二)
完整优化报告撰写、性能收益量化、最佳实践总结。
报告最佳实践