4. 显存带宽计算：理论值与实际值的鸿沟
显存带宽，说白了就是显存和计算核心之间的“数据管道”有多粗。我见过不少同学，看显卡参数时只盯着显存容量，却忽略了带宽这个更关键的指标。你想想看，容量再大，如果管道太细，数据堵在路上，GPU核心只能干等着——这就是所谓的“带宽瓶颈”。
4.1 带宽公式：理论值的由来
理论带宽的计算公式其实很简单：
理论带宽 (GB/s) = (显存频率 × 显存位宽 × 显存类型系数) / 8这里有几个关键参数：
- 显存频率：单位是MHz或GHz。注意，GDDR显存通常标注的是“等效频率”，比如GDDR6标注的14Gbps其实是等效频率，实际物理频率要除以2。
- 显存位宽：单位是bit。这是显存控制器到显存颗粒之间的数据通道宽度。常见的位宽有128bit、256bit、384bit、512bit等。
- 显存类型系数：GDDR6是16（因为每时钟周期传输16bit数据），GDDR5是8，HBM2/HBM2E是2（但HBM的位宽极高）。
- 除以8：把bit转换成byte。
举个例子，一块RTX 3090：
显存频率：19.5 Gbps（等效）
显存位宽：384 bit
显存类型：GDDR6X（系数16）
理论带宽 = (19.5 × 384 × 16) / 8 = 936 GB/s嗯，这个数字看起来很漂亮，对吧？但实际跑起来，你永远达不到这个值。
4.2 影响带宽的因素：为什么理论值总是“画饼”
我在项目中调试过不少模型，发现实际带宽通常只有理论值的60%-85%。为什么会这样？主要有以下几个“小偷”：
4.2.1 协议开销
显存传输不是“裸传”数据，它需要地址、命令、校验等信息。这些额外信息会占用一部分带宽。GDDR6的协议开销大约在5%-10%之间。
4.2.2 刷新周期
DRAM需要定期刷新来保持数据，否则电荷会泄漏。刷新期间，显存无法响应读写请求。这个开销大约占2%-5%。
4.2.3 地址映射与Bank冲突
显存内部被分成多个Bank。如果你连续访问同一个Bank的不同行，就需要额外的“预充电”和“激活”时间。这就是Bank冲突。我遇到过最极端的情况，一个不合理的地址映射导致带宽直接腰斩。
4.2.4 访问模式
连续访问（顺序读写）效率最高，随机访问效率最低。GPU的访存模式很大程度上决定了实际带宽。矩阵乘法这种连续访问模式，带宽利用率可以到80%以上；而稀疏操作或不规则访存，可能连50%都不到。
核心观点：理论带宽是上限，实际带宽取决于你的访存模式是否“友好”。
4.3 实际带宽与理论带宽的差异：一个真实案例
我曾经优化过一个Transformer推理模型，在A100上跑。A100的理论带宽是2039 GB/s（HBM2e，5120bit位宽，2.4Gbps频率）。
我写了一个简单的带宽测试程序：
// 伪代码：带宽测试
cudaMemcpy(dst, src, size, cudaMemcpyDeviceToDevice);
// 测量耗时，计算带宽结果让我很意外——只有约1550 GB/s，利用率约76%。
排查后发现两个问题：
- 内存对齐问题：数据没有按128字节对齐，导致每次访存都多读了一些无用数据。
- Bank冲突：两个数组的地址偏移量恰好是Bank数量的整数倍，导致大量冲突。
调整后，带宽提升到了1780 GB/s，利用率约87%。嗯，虽然还是达不到理论值，但已经算不错了。
我的经验：实际带宽利用率在70%-85%之间是正常的。如果低于60%，你的访存模式大概率有问题。我曾经见过一个同学写的kernel，带宽利用率只有12%——他用了大量的随机访问，而且没有做任何合并访问优化。
4.4 如何测量实际带宽
NVIDIA提供了几个工具：
- bandwidthTest：CUDA Samples里的经典工具，简单粗暴。
- nvidia-smi：可以看实时带宽利用率，但只能看整体，不能细分。
- Nsight Compute：我最常用的工具，可以分析每个kernel的访存效率，包括L1/L2命中率、带宽利用率等。
我自己写过一个微基准测试，专门测量不同访问模式下的带宽：
// 连续访问 vs 步长访问 vs 随机访问
for (int i = 0; i < N; i++) {
// 连续：data[i]
// 步长：data[i * stride]
// 随机：data[random_index[i]]
}结果很有意思：连续访问的带宽是随机访问的5-10倍。所以，优化访存模式往往比优化计算本身更有效。
4.5 带宽与计算强度的关系
这里要引入一个概念——计算强度（Arithmetic Intensity），即每字节数据对应的计算次数。公式是：
计算强度 = 计算量 (FLOPs) / 访存量 (Bytes)如果计算强度低，就是“带宽受限”型任务；如果计算强度高，就是“计算受限”型任务。
举个例子：
- 向量加法：1次加法需要读2个数、写1个数，计算强度极低，典型带宽受限。
- 矩阵乘法：O(N³)的计算量，O(N²)的访存量，计算强度高，容易达到计算受限。
避坑指南：我曾经在一个项目中，花了两周优化矩阵乘法的计算效率，结果发现瓶颈在带宽上——数据从显存搬到寄存器的时间比计算时间还长。后来我改用tiling和shared memory，才真正解决了问题。所以，先分析你的任务是计算受限还是带宽受限，再决定优化方向。
4.6 知识体系图
下面这张图总结了显存带宽的核心逻辑：
4.7 小结
显存带宽是GPU性能的“命门”之一。理论带宽只是纸面参数，实际带宽取决于你的代码是否“尊重”显存的物理特性。我个人的习惯是：拿到一个新模型，先用profiler跑一遍，看看带宽利用率。如果低于70%，我会优先优化访存，而不是计算。
记住一句话：数据搬得快，比算得快更重要。尤其是在大模型时代，显存带宽往往比算力更先成为瓶颈。
核心公式回顾：
- 理论带宽 = (频率 × 位宽 × 系数) / 8
- 实际带宽 ≈ 理论带宽 × (0.6 ~ 0.85)
- 计算强度 = FLOPs / Bytes → 判断瓶颈类型
想要更多资料，联系可可