一、显存优化入门：什么是显存（VRAM）、为什么显存会爆、显存优化的核心思想、课程概览与学习路径
1.1 什么是显存？说白了就是显卡的「工作台」
显存，全称 Video Random Access Memory，简称 VRAM。你可以把它想象成显卡的「工作台」——所有要处理的数据，都得先摆在这个台子上。
我刚开始做深度学习时，总觉得显存和内存差不多。后来踩了坑才明白：内存是CPU的仓库，显存是GPU的工位。仓库再大，工位不够，活儿就干不了。
具体来说，显存里存的是这些东西：
- 模型参数：权重、偏置，就是神经网络里那些数字
- 梯度：训练时反向传播算出来的更新量
- 优化器状态：比如Adam用的动量、方差，这玩意儿比参数还占地方
- 中间激活值：前向传播时每层的输出，反向传播要用
- 输入数据：图片、文本、音频，都得先塞进显存
一个简单的估算公式：
模型显存占用 ≈ 参数 × 精度字节数 × (1 + 梯度 + 优化器系数)
举个例子：7B参数，FP16精度，Adam优化器
≈ 7B × 2字节 × (1 + 1 + 2) = 7B × 8字节 = 56GB
嗯，这就是为什么7B模型在单张24G卡上跑不动的原因。
1.2 为什么显存会爆？三个最常见的坑
「显存爆了」——这大概是AI工程师最常看到的报错之一。我见过太多人一上来就问：「我的模型明明不大，怎么显存就炸了？」
原因其实就三个：
- batch size 设太大：这是最直接的原因。你想想看，batch size翻倍，中间激活值也翻倍。我曾经有个项目，batch size从8调到16，显存直接飙了30%。
- 序列太长：Transformer的显存占用和序列长度是平方关系。我见过有人拿2048长度的序列去跑BERT，结果显存直接爆了——其实128就够用。
- 优化器太「胖」：Adam优化器需要存动量和方差，是参数量的两倍。SGD就只需要存梯度。很多人没注意这个，结果模型参数不大，优化器却占了大部分显存。
避坑指南：我曾经在训练一个LLM时，发现显存占用比理论值高了40%。排查了半天，发现是PyTorch的缓存机制在作祟——它不会立刻释放显存，而是留着备用。解决方案是加上 torch.cuda.empty_cache()，但注意别频繁调用，会影响性能。
1.3 显存优化的核心思想：就三招
显存优化说白了就三个方向，我管它叫「三板斧」：
| 方向 | 核心思路 | 典型方法 |
|---|---|---|
| 减少存储 | 能不存就不存，能少存就少存 | 梯度检查点、混合精度训练 |
| 压缩数据 | 用更少的位数表示同样的信息 | 量化（INT8/INT4）、低秩分解 |
| 换空间 | 把显存放不下的挪到别处 | CPU offloading、模型并行 |
我个人习惯把这三种方法组合使用。比如训练大模型时，我会先用混合精度（减少存储），再开梯度检查点（进一步减少），最后如果还不够，就上CPU offloading（换空间）。
一个小技巧：优化显存时，先看哪个部分占得最多。用 torch.cuda.memory_summary() 可以查看详细分配情况。我一般先优化最大的那块，收益最明显。
1.4 课程概览：30章，从入门到实战
这个课程一共30章，我把它分成了四个阶段：
- 基础篇（第1-5章）：显存原理、监控工具、基础优化方法。学完你能看懂显存报错，知道怎么调batch size。
- 进阶篇（第6-15章）：梯度检查点、混合精度、量化、模型并行。这些是实战中最常用的技术。
- 高级篇（第16-25章）：CPU offloading、ZeRO优化、Flash Attention、分布式训练。适合要训大模型的同学。
- 实战篇（第26-30章）：完整案例，从单卡到多卡，从训练到推理。我会带着你一步步优化。
每一章我都会结合自己的项目经验来讲。比如讲梯度检查点时，我会分享我在训练GPT-2时是怎么用这个技术把显存占用砍掉60%的。
1.5 学习路径：我的建议
如果你是新手，我建议按顺序来。别一上来就搞ZeRO优化，先把基础打牢。
如果你已经有经验，可以挑着看。比如你只关心推理优化，那就重点看量化那几章。
我个人觉得，显存优化最重要的不是技巧本身，而是建立「显存意识」——写代码时就能预判哪一步会吃显存，哪一步可以省。这个意识需要慢慢培养，别急。
一句话总结本章：
显存是GPU的工作台，爆显存是因为工作台太小。优化的核心就三招：少存、压缩、换地方。接下来30章，我会带你把这套东西玩透。
这张图就是整个课程的知识骨架。你会发现，所有优化方法都逃不出这三条路。后面的每一章，我都会沿着这个框架展开。
好了，第一章就到这里。记住：显存优化不是魔法，是工程。掌握了核心思想，剩下的就是熟练度的问题了。