01
显存占用基础
理解显存分配机制、Tensor生命周期、梯度与优化器状态对显存的影响。
内存分配生命周期
02
混合精度训练(AMP)
FP16与BF16原理、AMP实现机制、GradScaler使用、实战对比。
FP16BF16GradScaler
03
梯度检查点
原理与计算图、torch.utils.checkpoint实现、时间与空间权衡分析。
Checkpoint计算图
04
激活值压缩与重计算
选择性重计算策略、激活值量化、Dropout与BatchNorm的显存优化。
量化重计算
05
显存碎片化与内存池
CUDA缓存分配器、torch.cuda.memory_stats、碎片化诊断与缓解。
CUDA内存池
06
ZeRO优化器
ZeRO-1/2/3原理、DeepSpeed集成、Offload机制、实战配置。
ZeRODeepSpeed
07
张量并行与流水线并行
模型并行基础、Megatron-LM实践、1D/2D张量切分、PP调度策略。
模型并行Megatron
08
序列并行与FlashAttention
FlashAttention原理、分块计算、IO感知优化、LongNet实践。
FlashAttentionIO感知
09
算子融合与Kernel优化
FusedAdam、FusedLayerNorm、CUDA Graph、Triton自定义算子。
FusedTriton
10
显存分析与Profiling工具
torch.cuda.memory_summary、Nsight Systems、PyTorch Profiler、内存快照。
ProfilerNsight
11
动态显存管理
动态计算图释放、inplace操作、del与gc.collect、显存复用技巧。
inplacegc
12
CPU Offload技术
模型参数Offload、优化器状态Offload、激活值Offload、性能权衡。
OffloadCPU
13
量化训练(QAT)
伪量化节点、LSQ/LSQ+、量化感知训练流程、显存收益分析。
QATLSQ
14
稀疏化训练
梯度稀疏化、随机梯度修剪、Top-K稀疏化、通信压缩。
稀疏Top-K
15
重计算策略优化
手动重计算 vs 自动重计算、Checkpoint选择策略、计算图分割。
自动重计算图分割
16
显存高效的激活函数
GELU vs ReLU、Swish、激活函数内存占用对比、Inplace版本。
GELUInplace
17
Batch Size与显存关系
Batch Size对显存的影响、梯度累积、微Batch策略、动态Batch。
Batch梯度累积
18
数据加载与预处理优化
DataLoader内存管理、pin_memory、prefetch_factor、内存映射文件。
DataLoaderpin_memory
19
分布式训练中的显存优化
NCCL缓冲管理、梯度压缩、AllReduce优化、通信与计算重叠。
NCCLAllReduce
20
模型剪枝与显存
结构化剪枝、非结构化剪枝、剪枝后微调、显存收益评估。
剪枝结构化
21
知识蒸馏与显存
教师-学生框架、蒸馏损失计算、中间层蒸馏、显存对比实验。
蒸馏教师-学生
22
低秩分解(LoRA)
LoRA原理、适配器设计、训练与推理显存对比、多任务部署。
LoRA适配器
23
Prefix Tuning与Prompt Tuning
连续提示优化、参数效率、显存占用对比、微调实践。
PrefixPrompt
24
AdaLoRA与动态秩分配
自适应秩分配、重要性评分、显存与精度权衡。
AdaLoRA动态秩
25
显存高效的Transformer变体
Linformer、Performer、Reformer、Longformer对比。
LinformerPerformer
26
推理阶段的显存优化
KV Cache优化、PageAttention、Continuous Batching、PagedMemory。
KV CachePageAttention
27
算子融合实战
Fused Attention、Fused MLP、Fused RMSNorm、Triton实现。
FusedTriton
28
显存与计算权衡分析
Roofline模型、Arithmetic Intensity、算子选择策略、自动调优。
Roofline自动调优
29
端到端显存优化案例
LLaMA训练优化、Stable Diffusion显存优化、ViT显存优化。
LLaMAStable Diffusion
30
未来趋势与前沿
显存墙问题、近存计算、存算一体、CXL与显存池化。
近存计算CXL