VIP20

本课程属于：011-CUDA AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

CUDA显存溢出与优化全攻略

📚 共计 30 章节

CUDA内存模型全景

从全局内存到寄存器，一张图看懂GPU存储层次。

显存溢出诊断

如何用nvidia-smi和Nsight Systems定位OOM问题。

内存池化技术

为什么频繁cudaMalloc/cudaFree会炸显存？

张量生命周期管理

Python对象引用与显存泄漏的真相。

梯度累积与Checkpointing

用时间换空间的经典策略。

混合精度训练（AMP）

FP16/BF16如何让显存减半？

DeepSpeed如何把模型状态分片到多卡？

DeepSpeed分片

激活值重计算

Activation Checkpointing的原理与实现。

重计算激活

显存碎片化

为什么显存没满却报OOM？

数据加载器优化

pin_memory与num_workers的正确姿势。

Batch Size调优

找到显存与收敛速度的黄金平衡点。

模型并行 (Model Parallelism)

把大模型切开放到多卡上。

流水线并行 (Pipeline Parallelism)

GPipe与1F1B策略详解。

张量并行 (Tensor Parallelism)

Megatron-LM的分片艺术。

序列并行 (Sequence Parallelism)

处理超长序列的显存解法。

长序列并行

Flash Attention

IO感知的注意力机制如何省显存？

PagedAttention与vLLM

操作系统虚拟内存思想在GPU上的应用。

vLLM虚拟内存

当显存不够时，把部分数据放回内存。

梯度压缩与通信优化

AllReduce的显存开销怎么降？

显存分析工具

torch.cuda.memory_summary()深度解读。

PyTorch显存管理

缓存分配器与stream语义。

PyTorch分配器

JIT编译与算子融合

减少临时张量，降低显存峰值。

动态图与静态图

Eager模式与TorchScript的显存差异。

动态图静态图

INT8/INT4推理时显存能省多少？

稀疏化与剪枝

让模型变瘦的显存优化术。

分布式训练中的显存均衡

负载不均怎么办？

分布式均衡

推理优化：KV Cache管理

KV Cache管理与显存复用技巧。

容器化与显存隔离

Docker中如何限制GPU显存？

多进程显存共享

CUDA IPC与多卡通信的坑。

实战案例：72B模型优化全记录

从OOM到训练稳定，一个72B模型的显存优化全记录。