VIP20

本课程属于：028-batch推理队列 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

显存溢出问题排查手册

📚 共计 30 章节

显存溢出概述

什么是显存溢出（OOM）· 常见表现 · 对训练/推理的影响

显存基础概念

显存与内存的区别 · 带宽与容量 · 分配机制

PyTorch显存管理

torch.cuda机制 · 分配与释放 · 缓存分配器

TensorFlow显存管理

TF GPU配置 · 显存增长策略 · 碎片化

框架TensorFlow

模型结构与显存

参数量计算 · 激活值占用 · 梯度与优化器状态

数据加载与显存

DataLoader泄漏 · pin_memory · 预处理显存

Batch Size与显存

Batch Size影响 · 梯度累积 · 动态Batch

混合精度训练

FP16/FP32对比 · AMP · 梯度缩放

梯度检查点

Checkpointing原理 · 分段计算 · 时间权衡

优化重计算

模型并行策略

数据并行 · 模型并行 · 流水线 · 张量并行

分布式并行

显存碎片化

产生原因 · 检测方法 · 优化手段

显存泄漏排查

泄漏特征 · 检测工具 · 常见场景

显存监控工具

nvidia-smi · gpustat · PyTorch Profiler

显存分析工具

memory_summary · snapshot · tracemalloc

常见OOM场景一

大模型加载 · 长序列 · 大Batch训练

常见OOM场景二

多任务学习 · 多卡训练 · 分布式训练

案例分布式

常见OOM场景三

推理阶段OOM · 服务部署 · 动态图显存

显存优化技巧一

梯度压缩 · 激活值压缩 · 参数共享

显存优化技巧二

in-place操作 · del/gc.collect · 显存池化

显存优化技巧三

模型剪枝 · 量化 · 蒸馏

压缩轻量化

显存优化技巧四

序列并行 · Flash Attention · Paged Attention

注意力高效

显存优化技巧五

CPU Offloading · NVMe Offloading · ZeRO

显存优化技巧六

重计算 · 选择性重计算 · 异步重计算

重计算异步

显存优化技巧七

梯度累积 · 梯度裁剪 · 同步优化

显存优化技巧八

数据预处理优化 · 缓存 · 内存映射

显存优化技巧九

框架选择 · 算子融合 · Kernel优化

显存优化技巧十

硬件升级 · 多GPU聚合 · 显存扩展

实战案例一：BERT训练OOM

排查与优化 · 显存分析 · 解决方案

实战案例二：LLM推理OOM

推理显存分析 · 优化策略 · 部署技巧

实战案例三：多模态模型OOM

多模态显存瓶颈 · 排查流程 · 优化实践

实战多模态