01
显存溢出初探
什么是显存溢出？为什么出现？CUDA out of memory 解读
基础错误信息
02
硬件基础
GPU架构简介 · nvidia-smi详解 · 显存带宽/容量
GPU监控
03
PyTorch内存管理
Tensor存储 · 计算图 · 梯度累积与显存占用
PyTorch机制
04
数据加载优化
DataLoader · num_workers · pin_memory · prefetch_factor
数据吞吐
05
模型结构优化
深度可分离卷积 · 共享权重 · Checkpointing
模型轻量化
06
批次大小调整
Batch Size与显存 · 梯度累积模拟大Batch
Batch累积
07
混合精度训练
FP16/FP32 · AMP · 显存节省原理
精度AMP
08
梯度检查点
时间换空间 · torch.utils.checkpoint
检查点显存
09
显存碎片化
碎片产生 · empty_cache() 缓解
碎片清理
10
模型并行
DataParallel vs DistributedDataParallel · 模型分片
多卡DDP
11
流水线并行
GPipe · PipeDream · 大模型切分
流水线切分
12
张量并行
Megatron-LM · 矩阵切分 · 通信开销
张量Megatron
13
ZeRO优化器
Stage 1/2/3 · DeepSpeed库
ZeRODeepSpeed
14
激活值显存优化
激活值重计算 · 激活值压缩
激活重计算
15
优化器状态显存
Adam显存分析 · Adafactor低显存优化器
优化器显存
16
梯度压缩
梯度量化 · 稀疏化 · 通信与显存权衡
压缩通信
17
CPU Offloading
优化器/梯度卸载到CPU · DeepSpeed CPU Adam
卸载CPU
18
显存监控工具
memory_summary · nvidia-smi · gpustat · py-spy
监控工具
19
内存泄漏排查
对象引用循环 · DataLoader worker · 泄漏检测
泄漏排查
20
动态图与静态图
PyTorch动态图开销 · TorchScript静态图优化
动态图TorchScript
21
输入数据尺寸
动态尺寸影响 · 固定尺寸与padding策略
尺寸Padding
22
损失函数与显存
中间变量 · 自定义损失函数优化
损失中间变量
23
Batch Normalization
训练/推理显存差异 · SyncBN开销
BN同步
24
Embedding层优化
大词汇表显存 · 稀疏化与共享
Embedding稀疏
25
Attention机制优化
FlashAttention · 稀疏Attention · 显存节省
AttentionFlash
26
序列长度优化
长序列策略 · 滑动窗口 · Segment-Level
长序列窗口
27
推理阶段优化
KV Cache · Continuous Batching · PagedAttention
推理KV
28
容器与虚拟化
Docker GPU限制 · Kubernetes显存管理 · 隔离
容器K8s
29
案例实战一：BERT
BERT训练显存溢出排查与解决全过程
BERT实战
30
案例实战二：LLaMA
LLaMA大模型微调显存溢出排查与解决
LLaMA微调