01
显存溢出(OOM)全景认知
什么是显存溢出 · OOM典型表现 · 对训练推理的影响 · 为什么系统学习
认知基础
02
GPU显存架构深度解析
显存硬件层次 · HBM vs GDDR · 带宽与延迟 · 控制器原理
硬件架构
03
PyTorch显存管理机制
CUDA缓存分配器 · 缓存池策略 · 碎片化 · 回收机制
PyTorch机制
04
TensorFlow显存管理机制
GPU内存增长配置 · 分配策略 · TF与PyTorch差异对比
TensorFlow对比
05
显存监控工具实战
nvidia-smi详解 · gpustat · nvtop · dcgm监控
监控工具
06
PyTorch Profiler深度使用
安装配置 · trace分析 · 内存时间线 · 性能瓶颈定位
Profiler分析
07
TensorBoard显存可视化
内存指标监控 · 自定义仪表盘 · 分布式训练监控
可视化TensorBoard
08
模型参数量与显存估算
参数/梯度/优化器状态 · 激活值估算
估算公式
09
Batch Size与显存关系
BS影响 · 梯度累积 · 调优策略
Batch调优
10
序列长度与显存关系
Transformer序列影响 · attention显存 · 长序列优化
序列Transformer
11
混合精度训练显存优化
FP16/FP32/BF16 · AMP · 梯度缩放 · 实测节省
混合精度AMP
12
梯度检查点(Gradient Checkpointing)
原理实现 · 计算与显存权衡 · 实战配置
检查点权衡
13
显存碎片化问题
产生原因 · 检测方法 · 解决方案 · 大页内存
碎片化大页
14
数据加载与显存泄漏
DataLoader泄漏 · pin_memory · 数据预处理优化
数据加载泄漏
15
分布式训练显存均衡
数据/模型/流水线并行 · ZeRO优化器
分布式ZeRO
16
ZeRO系列优化器详解
ZeRO-1/2/3 · Offload · ZeRO++ · 实战配置
ZeROOffload
17
显存溢出错误日志分析
CUDA OOM解读 · 堆栈跟踪 · 常见错误模式
错误日志OOM
18
OOM自动诊断工具
memory_summary · memory_snapshot · 自定义诊断脚本
诊断自动化
19
模型剪枝与显存优化
结构化/非结构化剪枝 · 微调 · 显存收益
剪枝压缩
20
模型量化显存优化
INT8/INT4 · 量化感知训练 · 动态量化 · 显存对比
量化INT8
21
KV Cache优化
Transformer推理KV Cache · PagedAttention · vLLM · 显存节省
KV Cache推理
22
Flash Attention技术
原理实现 · 带宽优化 · 长序列支持 · 实战效果
Attention加速
23
CPU Offload技术
参数/梯度/优化器Offload · 性能影响
OffloadCPU
24
显存复用与共享
内存池设计 · tensor复用 · in-place操作 · 显存共享
复用共享
25
大模型训练显存实战
LLaMA/GPT训练分析 · 千亿模型显存规划
大模型训练
26
大模型推理显存实战
推理显存组成 · 连续/动态批处理 · 显存管理
推理批处理
27
多卡显存不均衡问题
负载不均衡原因 · 均衡策略 · 动态调整方案
多卡均衡
28
显存溢出案例分析
CV/NLP/多模态模型OOM案例
案例实战
29
显存优化最佳实践
训练/推理优化checklist · 监控告警体系
最佳实践checklist
30
未来趋势与展望
CXL内存扩展 · 近存计算 · 存算一体 · 显存技术演进
趋势前沿