VIP20

本课程属于：029-推理并发调度 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

显存峰值治理完整方案

📚 共计 30 章节

显存泄漏的根源

定义 · 与内存泄漏区别 · 未释放张量/梯度累积/句柄泄漏/CUDA上下文

根源分析debug

显存泄漏的检测工具

nvidia-smi · memory_summary · memory_snapshot · py-spy+tracemalloc · 自定义装饰器

监控工具链

显存泄漏的修复策略

with torch.no_grad · del+empty_cache · 梯度清零 · DataLoader配置 · 多进程隔离

修复最佳实践

显存碎片化问题

成因 · 训练影响 · memory_summary查看 · 预分配/梯度检查点/混合精度

碎片化治理

梯度检查点

原理 · checkpoint()使用 · 与模型并行对比 · 速度影响 · BERT-large 24GB→12GB

检查点显存优化

混合精度训练

FP16/FP32差异 · AMP原理 · torch.cuda.amp · GradScaler · ResNet-50降低40%

模型并行与张量并行

Pipeline并行 · Tensor并行 · Megatron-LM 1D/2D · DeepSpeed ZeRO-3 · GPT-3 175B

激活值压缩

激活值占用 · Checkpointing vs Compression · Gist/ACTNN · INT8/FP8 · ViT-Large降低60%

压缩激活值

数据加载优化

prefetch_factor · mmap · 预处理流水线 · LMDB/RecordIO · ImageNet降低70%

优化器状态压缩

Adam占用(2倍模型) · Adafactor · LION · 8-bit Adam · LLaMA-7B 56GB→14GB

优化器bitsandbytes

模型剪枝与蒸馏

结构化/非结构化剪枝 · 微调 · 知识蒸馏 · 温度/软标签 · BERT-base降低50%

PTQ/QAT · INT8/INT4 · torch.quantization · TensorRT · YOLOv5降低75%

动态显存管理

CUDA Stream/Event · CUDA Graph · 显存池 · CachingAllocator · 减少峰值抖动

分布式训练显存

DDP分析 · ZeRO-1/2/3 · ZeRO-Offload · FSDP · GPT-2显存降低8倍

参数/优化器/梯度卸载 · DeepSpeed Offload · 13B单卡A100

虚拟显存 (NVLink/NVSwitch)

NVLink拓扑 · NVSwitch · 跨GPU访问 · UVA · 8卡A100池化

Fused Adam · LayerNorm · FlashAttention · torch.compile/Triton · 显存降低5倍

融合FlashAttention

Sequence Parallelism · 与张量并行区别 · Megatron-LM实现 · 128K序列降低4倍

序列并行长序列

专家并行 (MoE)

MoE原理 · 专家并行显存 · Top-2路由 · Switch Transformer · MoE-1T

重计算策略

完整vs选择性重计算 · 与检查点对比 · 自动搜索 · FlexGen · 减少30%显存

重计算调度

流水线调度

1F1B · PipeDream · 交错式调度 · 显存峰值影响 · GPT-3优化

流水线调度

内存高效注意力

FlashAttention-2 · PagedAttention · MQA · GQA · 推理降低50%

KV Cache · Continuous Batching · vLLM · TensorRT-LLM · LLaMA-70B降低60%

CSR/COO · 稀疏注意力 · Block Sparse · 2:4结构化稀疏 · 降低80%

稀疏结构化

torch.compile · Inductor · 动态shape · 显存影响 · ResNet-50降低15%

编译torch.compile

显存监控与告警

Prometheus+Grafana · 自定义告警 · 趋势分析 · 自动恢复 · 监控系统搭建

容器化与资源隔离

Docker GPU限制 · K8s调度 · 显存QoS · 多租户隔离 · 利用率提升30%

H100 vs A100 · HBM3 vs HBM2e · 容量/带宽权衡 · 多卡互联 · 方案对比

显存成本分析 · Spot实例 · 预留vs按需 · 混合云调度 · 成本降低50%

综合案例：端到端治理

泄漏→峰值优化 · 方案设计 · SOP · 团队建设 · 80GB→32GB