01
显存基础
什么是显存？显存在深度学习中的作用与瓶颈分析。
概念入门
02
显存监控
使用nvidia-smi、PyTorch memory_stats()等工具监控显存。
工具调试
03
数据加载优化
DataLoader的num_workers、pin_memory、prefetch_factor。
IO加速
04
数据类型优化
fp16/bf16混合精度训练（AMP）。
精度AMP
05
梯度累积
通过梯度累积模拟大Batch Size，减少显存峰值。
策略Batch
06
激活值检查点
checkpointing技术以时间换空间。
Checkpoint权衡
07
模型并行
模型切分到多卡（Pipeline Parallelism）。
分布式多卡
08
张量并行
Tensor Parallelism的原理与实现。
并行通信
09
数据并行
DistributedDataParallel（DDP）的显存优化。
DDP多卡
10
ZeRO优化器
ZeRO Stage 1/2/3的原理与配置。
ZeRO显存
11
显存碎片化
理解显存碎片，使用PyTorch显存管理技巧。
碎片优化
12
in-place操作
使用in-place操作减少显存占用。
技巧原地
13
del与gc
手动释放不再使用的张量。
回收内存
14
梯度裁剪
防止梯度爆炸的同时优化显存。
稳定裁剪
15
Batch Size调优
找到显存与收敛速度的平衡点。
调参平衡
16
序列长度优化
NLP任务的序列长度裁剪与动态填充。
NLP动态
17
注意力机制优化
Flash Attention、Sparse Attention的原理。
Attention高效
18
KV Cache优化
推理阶段的显存优化（PagedAttention）。
推理KV
19
模型剪枝
结构化剪枝与非结构化剪枝。
剪枝压缩
21
量化
INT8/INT4量化训练与推理。
量化INT8
22
LoRA微调
低秩适配减少微调显存。
LoRA微调
23
AdaLoRA与QLoRA
更高效的参数高效微调。
AdaLoRAQLoRA
24
CPU Offloading
将优化器状态或模型参数卸载到CPU。
OffloadCPU
25
混合精度训练
AMP的进阶用法与自定义策略。
AMP进阶
26
分布式训练显存均衡
负载均衡与通信优化。
分布式均衡
27
显存泄漏排查
使用torch.cuda.memory_summary()定位泄漏。
调试泄漏
28
实战案例1：单卡LLaMA-7B
ZeRO+LoRA+量化训练LLaMA-7B。
实战LLaMA
29
实战案例2：多卡Stable Diffusion
DDP+AMP+Checkpointing训练SD。
实战SD
30
实战案例3：vLLM推理优化
使用vLLM部署大模型，推理显存优化。
推理vLLM