VIP20

本课程属于：015-NCCL AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

显存溢出原因定位与系统化解决

📚 共计 30 章节

显存溢出概述

什么是显存溢出（OOM）· 典型表现 · 对训练/推理的影响 · 课程目标与学习路径

GPU显存架构

显存层级结构（HBM·L2·L1）· 带宽与容量 · 不同GPU规格对比 · 分配机制

PyTorch显存管理机制

缓存分配器 · cudaMalloc/cudaFree · 显存池 · empty_cache() 真相

Tensor显存占用分析

存储格式（dtype/shape/stride）· 显存计算公式 · 梯度与优化器状态 · 中间激活值

模型参数显存计算

参数量与显存 · FP32/FP16/INT8差异 · Embedding陷阱 · LayerNorm/BatchNorm开销

优化器显存开销

SGD/Adam/AdamW对比 · 动量与二阶矩 · 混合精度 · ZeRO节省原理

中间激活值显存

前向激活存储 · batch_size关系 · 序列长度影响 · 模型深度影响

激活值动态

Batch Size与显存

影响曲线 · 梯度累积替代 · 学习率联动 · 二分法找最大Batch

序列长度与显存

Transformer注意力显存 · Flash Attention · 长序列挑战 · 长度与batch权衡

序列注意力

数据加载与显存

DataLoader的num_workers · pin_memory开销 · 预处理泄漏 · 图像/文本占用

显存泄漏检测

什么是泄漏 · memory_summary() · nvidia-smi/gpustat · memory_snapshot

梯度累积与显存

梯度累积原理 · 显存节省效果 · 与BatchNorm冲突 · 数值精度问题

混合精度训练

AMP原理 · FP16节省 · BF16优势 · 梯度缩放 · 实际配置

梯度检查点

原理 · 时间与空间权衡 · torch.utils.checkpoint · 适用场景

检查点节省

模型并行策略

DP显存分布 · DDP优化 · Model Parallelism切分 · Pipeline平衡

并行分布式

张量并行与序列并行

Tensor Parallelism · Sequence Parallelism · Megatron-LM · DeepSpeed方案

ZeRO优化器详解

ZeRO-1/2/3 · Offload (CPU+NVMe) · 混合精度配合 · 实际配置

CPU Offload技术

参数/梯度/优化器Offload · 带宽瓶颈 · 何时使用

显存碎片化

碎片化成因 · 对OOM影响 · 检测方法 · 缓解策略（预分配/内存池）

动态图与静态图

PyTorch动态图开销 · TorchScript优化 · torch.compile · 静态图推理优势

图模式编译

推理阶段的显存优化

KV Cache管理 · PagedAttention · Continuous Batching · 推理估算

PTQ/QAT显存影响 · INT8/INT4节省 · 精度影响 · 部署实测

分布式训练的显存均衡

负载不均 · 数据切分均衡 · 模型切分均衡 · 动态均衡策略

分布式均衡

显存溢出错误日志分析

CUDA OOM解读 · RuntimeError变体 · 堆栈定位 · 日志分析工具

显存监控与告警

Prometheus+Grafana · 自定义告警 · 训练自检 · 趋势分析

常见模型显存估算

LLaMA · GPT · ViT · Diffusion 系列显存估算

显存优化实战案例一

LLM微调OOM解决 · LoRA/QLoRA · 梯度检查点+混合精度 · 稳定训练

显存优化实战案例二

多模态模型优化 · 视觉编码器瓶颈 · 文本解码器优化 · 跨模态节省

实战多模态

显存优化实战案例三

大规模Batch推理 · 显存池化 · 动态Batch复用 · 延迟与显存权衡

课程总结与最佳实践

系统化方法论 · OOM排查清单 · 工具链推荐 · 持续学习资源

总结最佳实践