01
显存溢出（OOM）概述
什么是显存溢出 · OOM典型表现 · 对训练/推理的影响
概念入门
02
显存基础概念
显存与内存区别 · 带宽与容量 · 分配机制
原理硬件
03
常见OOM场景
模型过大 · Batch Size过长 · 序列长度 · 激活值爆炸
场景排查
04
诊断工具入门
nvidia-smi · torch.cuda API · 内存快照工具
工具调试
05
梯度累积与混合精度
梯度累积原理 · 混合精度AMP · 实战配置
训练精度
06
模型并行策略
Data Parallelism · Model Parallelism · Pipeline Parallelism
并行分布式
07
张量并行与序列并行
Tensor Parallelism原理 · Sequence Parallelism应用
并行大模型
08
激活值优化
Checkpointing · 激活值压缩 · 选择性Checkpointing
显存优化
09
显存碎片化问题
碎片化产生原因 · 诊断 · 解决方案
内存性能
10
动态显存管理
显存池化 · 复用 · 预分配
高级系统
11
PyTorch显存优化技巧
del与empty_cache · inplace操作 · 梯度裁剪
PyTorch技巧
12
HuggingFace模型优化
from_pretrained参数 · 8bit/4bit · PEFT/LoRA
HF量化
13
DeepSpeed框架
ZeRO Stage 1/2/3 · Offload · Infinity
DeepSpeedZeRO
14
Megatron-LM实践
张量并行 · 流水线并行 · 数据加载优化
Megatron大模型
15
Flash Attention原理
标准Attention显存 · Flash优化 · 效果对比
Attention加速
16
CPU Offloading技术
模型参数Offload · 优化器状态 · 梯度Offload
Offload显存
17
数据加载与预处理优化
DataLoader num_workers · 内存映射 · 缓存
数据IO
18
分布式训练显存优化
NCCL通信优化 · 梯度压缩 · 异步通信
分布式通信
19
推理阶段显存优化
KV Cache优化 · 连续批处理 · PagedAttention
推理LLM
20
量化技术
PTQ量化 · QAT · INT8/INT4实践
量化压缩
21
剪枝与蒸馏
结构化剪枝 · 非结构化 · 知识蒸馏
剪枝蒸馏
22
显存溢出案例分析1
BERT微调OOM诊断与解决
案例BERT
23
显存溢出案例分析2
LLaMA训练OOM诊断与解决
案例LLaMA
24
显存溢出案例分析3
Stable Diffusion推理OOM诊断与解决
案例SD
25
显存监控与告警
Prometheus + Grafana · 自定义告警规则
监控运维
26
代码审查与最佳实践
常见代码坏习惯 · 显存安全编码规范
规范工程
27
云环境显存管理
AWS/GCP/阿里云GPU实例 · 竞价实例策略
云成本
28
多卡环境显存均衡
负载均衡 · 显存均衡调度 · 动态调整
多卡调度
29
未来趋势
显存压缩新方法 · 硬件趋势 · 软件生态
前沿趋势
30
综合实战项目
从零构建显存优化的训练/推理系统
实战项目