01
显存基础
显存是什么 · 显存与内存的区别 · 显存在深度学习中的作用
概念入门
02
显存监控
nvidia-smi · torch.cuda · py3nvml 监控显存
工具调试
03
数据加载优化
num_workers · pin_memory · prefetch_factor
DataLoader加速
04
混合精度训练
混合精度原理 · AMP自动混合精度 · 手动控制精度
AMP精度
05
梯度累积
梯度累积原理 · 实现 · 注意事项
梯度大Batch
06
激活检查点
激活检查点原理 · PyTorch实现 · 性能权衡
内存checkpoint
07
模型并行
模型并行概念 · 手动切分 · PyTorch模型并行
并行切分
08
数据并行
数据并行概念 · DDP使用 · 显存优化
DDP多卡
09
张量并行
张量并行原理 · Megatron-LM · 通信开销
张量Megatron
10
流水线并行
流水线并行概念 · GPipe · PipeDream
流水线GPipe
11
ZeRO优化器
ZeRO三个阶段 · ZeRO-Offload · DeepSpeed配置
ZeRODeepSpeed
12
显存碎片化
碎片化原因 · 避免方法 · torch.cuda.empty_cache
碎片清理
13
梯度压缩
梯度压缩原理 · 梯度量化 · 梯度稀疏化
压缩通信
14
模型剪枝
结构化剪枝 · 非结构化剪枝 · 剪枝后微调
剪枝稀疏
15
模型量化
量化感知训练 · 动态量化 · 静态量化
量化INT8
16
知识蒸馏
知识蒸馏原理 · 教师-学生模型 · 蒸馏损失函数
蒸馏压缩
17
Batch Size优化
Batch Size与显存 · 动态Batch Size · 梯度累积替代
Batch动态
18
序列长度优化
序列长度与显存 · 动态序列长度 · 序列打包
序列打包
19
注意力机制优化
Flash Attention · Sparse Attention · 线性注意力
AttentionFlash
20
参数高效微调
LoRA原理 · LoRA实现 · LoRA显存优势
LoRA微调
21
显存交换
CPU-GPU交换 · 统一内存 · torch.cuda.amp
交换统一内存
22
计算图优化
计算图与显存 · 梯度检查点 · 计算图复用
计算图复用
23
分布式训练优化
NCCL通信优化 · 梯度同步策略 · 通信计算重叠
分布式NCCL
24
推理优化
推理显存优化 · KV Cache优化 · 连续批处理
推理KV Cache
25
显存分析工具
PyTorch Memory Profiler · Nsight Systems · Memory Snapshot
分析Profiler
26
常见显存错误
CUDA Out of Memory · 显存泄漏 · 显存溢出
错误OOM
27
显存泄漏排查
泄漏原因 · tracemalloc排查 · memory_summary
调试泄漏
28
多卡显存均衡
显存负载均衡 · 动态任务分配 · 显存感知调度
多卡均衡
29
显存优化案例
BERT · GPT · ViT 训练显存优化
案例实战
30
显存优化总结
优化方法论 · 常见优化组合 · 未来趋势
总结路线