一、显存基础与瓶颈分析

大家好，我是你们的老朋友。今天咱们聊聊显存优化里最基础、也最容易被忽视的一环——显存架构与瓶颈分析。

说实话，我见过太多同学一上来就调算子、改并行策略，结果折腾半天，性能纹丝不动。为什么？因为根本问题没找到。你想想看，连显存怎么工作的都不清楚，怎么知道瓶颈在哪？

所以这一章，咱们先把地基打牢。我会从硬件架构讲起，再到实际项目中怎么定位问题。嗯，都是干货。

1.1 GPU显存架构：不只是“大”就够

先问个问题：显存到底是什么？

说白了，它就是GPU专用的“工作台”。CPU把数据搬到这里，GPU才能快速读写。但这里有个关键点——显存不是一块完整的大内存，而是分层的。

以我常用的NVIDIA GPU为例，显存架构大致分三层：

• 全局显存（Global Memory）：容量最大，但延迟也最高。几百GB/s的带宽，但访问一次要几百个时钟周期。
• 共享内存（Shared Memory）：每个SM（流式多处理器）独享，容量小（几十KB），但延迟极低。我习惯把它当成“程序员可控的L1缓存”。
• 寄存器（Registers）：每个线程私有，速度最快，但数量有限。一个线程最多255个寄存器，多了就溢出到全局显存，性能直接崩。

我在项目中遇到过一位同事，把一个大数组放在全局显存里反复读写，结果训练速度慢得像蜗牛。后来改成共享内存做缓存，速度直接翻了3倍。嗯，这就是架构理解的价值。

1.2 显存带宽与容量：两个不同的瓶颈

很多人把带宽和容量混为一谈。其实它们是两码事。

• 容量：能装多少数据。比如一张A100有80GB显存，你模型参数+中间结果不能超过这个数。
• 带宽：单位时间能读写多少数据。比如A100带宽是2TB/s，但如果你访问模式很差，实际带宽可能只有理论值的10%。

我建议你记住一个公式：

实际带宽 = 理论带宽 × 利用率

利用率低的原因，通常是内存访问不连续。举个例子：

// 坏例子：跨步访问，带宽利用率低
for (int i = 0; i < N; i++) {
    data[i * 64] = ...;  // 每次跳64个元素
}

// 好例子：连续访问，带宽利用率高
for (int i = 0; i < N; i++) {
    data[i] = ...;  // 连续读取
}

我曾经在一个推荐系统项目里，就因为数据排布不对，导致带宽利用率只有15%。调整成连续存储后，直接跑到85%。

1.3 显存峰值产生原因：谁在“吃”显存？

显存峰值，就是训练过程中显存占用的最高点。它通常出现在以下几个地方：

1. 模型参数：权重、偏置等。这个基本固定，优化空间不大。
2. 优化器状态：比如Adam的动量和方差。每个参数存两份，显存直接翻倍。
3. 中间激活值：前向传播时每层的输出。这是显存峰值的主要来源，尤其是大模型。
4. 临时缓冲区：比如梯度累积、通信缓冲区。容易被忽略，但有时能吃掉几个GB。

为什么会突然出现峰值？我举个例子：

假设你训练一个Transformer，前向传播时每一层都要保存激活值用于反向传播。如果模型有32层，每层激活值占1GB，那峰值就是32GB。但如果你用激活值重计算（checkpointing），只保存部分层的激活值，峰值就能降到8GB。

1.4 性能瓶颈定位方法：三步找到“元凶”

定位显存瓶颈，我有一套自己的方法，分三步走：

第一步：看整体占用

用nvidia-smi或torch.cuda.memory_summary()看总占用。如果接近显存上限，那就是容量瓶颈。

import torch
print(torch.cuda.memory_summary())

第二步：看峰值位置

用PyTorch的torch.cuda.max_memory_allocated()记录峰值。然后逐段注释代码，找到峰值出现的具体位置。

torch.cuda.reset_peak_memory_stats()
# 你的训练代码
peak = torch.cuda.max_memory_allocated()
print(f"峰值显存: {peak / 1024**3:.2f} GB")

第三步：看访问模式

用Nsight Compute或NVIDIA Visual Profiler分析内存访问模式。重点看：

• 全局加载/存储效率（Global Load/Store Efficiency）
• 共享内存冲突（Bank Conflict）
• 寄存器溢出（Register Spill）

我记得有一次，一个模型训练特别慢，显存占用也不高，但就是跑不动。用Nsight一看，发现寄存器溢出严重，每个线程用了300多个寄存器，导致大量数据被挤到全局显存。调整内核后，性能提升了40%。

知识体系图：显存优化全景

下面这张图，是我自己整理的显存优化知识体系。你可以把它当成一张地图，后续章节都会围绕它展开。

这张图里，本章覆盖的是左侧“显存架构理解”和中间“瓶颈分析方法”两部分。后面的章节，我们会逐一深入右侧的优化技术。

好了，这一章就到这里。记住：理解显存是优化的第一步，也是最关键的一步。下一章，我们会讲如何用工具精确测量显存占用，到时候见。