01
显存基础
显存是什么 · 显存与内存的区别 · 显存在深度学习中的作用
概念入门
02
显存监控
nvidia-smi · torch.cuda · py3nvml库
工具调试
03
数据加载优化
num_workers · pin_memory · prefetch_factor
DataLoaderIO
04
数据类型优化
float16 · 混合精度(AMP) · bfloat16
精度AMP
05
梯度累积
原理 · 实现 · 适用场景
梯度大Batch
06
梯度检查点
原理 · torch.utils.checkpoint · 权衡
重计算节省显存
07
模型并行
概念 · DataParallel · DistributedDataParallel
并行多GPU
08
流水线并行
概念 · torch Pipe · GPipe思路
流水线分片
09
张量并行
概念 · Megatron-LM分片 · 与模型并行区别
张量Megatron
10
ZeRO优化器
Stage 1/2/3 · DeepSpeed配置 · ZeRO Offload
ZeRODeepSpeed
11
激活值优化
内存占用 · 激活值压缩 · 重计算
激活压缩
12
优化器状态优化
Adam占用 · Adafactor · LION
优化器内存
13
模型剪枝
概念 · 结构化/非结构化 · torch.nn.utils.prune
剪枝稀疏
14
知识蒸馏
原理 · 教师-学生 · 显存优化作用
蒸馏压缩
15
量化技术
量化概念 · PTQ与QAT · bitsandbytes
量化INT8
16
内存碎片管理
碎片成因 · empty_cache · 缓存分配器
碎片分配器
17
动态显存管理
max_memory_allocated · reset_peak_stats · 手动释放
监控峰值
18
Batch Size调优
Batch与显存 · 梯度累积替代 · 动态Batch
Batch调参
19
序列长度优化
长序列挑战 · 稀疏注意力 · Flash Attention
注意力Flash
20
参数高效微调 · LoRA
LoRA原理 · 实现 · 显存优势
LoRA微调
21
Prefix Tuning
原理 · 实现 · 与LoRA对比
PrefixPrompt
22
P-Tuning v2
原理 · 实现 · 适用场景
P-Tuning微调
23
AdaLoRA
原理 · 实现 · 自适应秩分配
自适应SVD
24
混合专家模型 (MoE)
MoE概念 · 稀疏门控 · 显存优势
MoE稀疏
25
CPU Offload
原理 · DeepSpeed Offload · Accelerate
OffloadCPU
26
NVLink与NVSwitch
NVLink作用 · NVSwitch架构 · 多GPU通信
硬件通信
27
显存池化技术
显存池概念 · PyTorch缓存分配器 · 自定义池
池化分配
28
推理优化
KV Cache · Continuous Batching · PagedAttention
推理KV
29
框架对比
PyTorch vs TF vs JAX · 显存管理 · 选择建议
框架对比
30
综合实战
全流程优化 · 案例分析 · 最佳实践总结
实战总结