3、计算效率分析：Roofline模型详解
做GPU优化这么多年，我见过太多人一上来就猛调算子、改内核，结果性能纹丝不动。为什么？因为你根本不知道瓶颈在哪。
今天咱们聊的Roofline模型，说白了就是一张“瓶颈定位地图”。它能帮你一眼看出：你的模型到底是算不动，还是数据搬不过来。
3.1 什么是Roofline模型？
Roofline模型是一个二维坐标系：
- 横轴：计算强度（Operational Intensity），单位是 FLOPs/Byte
- 纵轴：计算性能（Performance），单位是 GFLOPs/s
你想想看，一个程序跑在GPU上，要么被计算能力限制，要么被显存带宽限制。Roofline模型就是把这个“天花板”画出来。
核心公式：
Attainable Performance = min(Peak Compute, Peak Memory Bandwidth × Operational Intensity)
嗯，这里要注意：当计算强度很低时，性能被带宽卡住；当计算强度足够高时，性能才能逼近算力峰值。
3.2 用SVG画一张Roofline图
光说理论太干，我直接画一张图给你看。这张图我当年在调一个NLP模型时反复看过无数遍——
这张图里，绿色实线就是你的程序实际能达到的性能上限。模型A落在斜线区域——访存密集型；模型B落在水平区域——计算密集型。
3.3 如何计算计算强度？
计算强度 = 总计算量（FLOPs） / 总访存量（Bytes）。
我举个例子，一个简单的矩阵乘法 C = A × B，假设A和B都是1024×1024的float32矩阵：
- 计算量：2 × 1024³ = 2.1 GFLOPs（乘加各算一次）
- 访存量：3 × 1024² × 4 = 12.6 MB（读A、读B、写C）
- 计算强度：2.1 GFLOPs / 12.6 MB ≈ 167 FLOPs/Byte
我的经验：计算强度大于10 FLOPs/Byte的算子，基本可以归为计算密集型。低于1的，十有八九是访存瓶颈。我在调一个推荐系统模型时，有个embedding层的计算强度只有0.3，怎么优化算子都没用，最后靠算子融合才解决问题。
3.4 定位你的模型类型
拿到计算强度后，把它放到Roofline图上，看它落在哪个区域：
| 模型类型 | 计算强度范围 | 典型算子 | 优化方向 |
|---|---|---|---|
| 访存密集型 | < 1 FLOPs/Byte | Element-wise、ReLU、Dropout、LayerNorm | 减少访存、算子融合、提高数据复用 |
| 平衡型 | 1 ~ 10 FLOPs/Byte | 小矩阵乘法、卷积（小batch） | 双管齐下，同时优化计算和访存 |
| 计算密集型 | > 10 FLOPs/Byte | 大矩阵乘法、大卷积、FFT | 利用Tensor Core、提高并行度、减少指令开销 |
我曾经踩过的坑：有一次我优化一个BERT模型，盯着矩阵乘法猛调，性能提升不到5%。后来用Roofline一分析才发现，整个模型的计算强度只有0.8，瓶颈根本不在计算，而在LayerNorm和Softmax这些访存密集的算子。后来我把这些算子做了融合，性能直接翻倍。
3.5 实战：用Roofline分析一个卷积层
假设一个卷积层：输入256×256×64，输出256×256×128，卷积核3×3，stride=1，padding=1。
咱们来算算：
计算量 = 2 × 3 × 3 × 64 × 128 × 256 × 256 ≈ 9.6 GFLOPs
访存量 = 输入(256×256×64×4) + 权重(3×3×64×128×4) + 输出(256×256×128×4)
= 16.8 MB + 0.3 MB + 33.6 MB ≈ 50.7 MB
计算强度 = 9.6 GFLOPs / 50.7 MB ≈ 189 FLOPs/Byte嗯，189 FLOPs/Byte，妥妥的计算密集型。这时候你应该把精力放在利用Tensor Core、调整tiling策略上，而不是去折腾数据搬运。
3.6 如何获取实际数据？
光靠理论计算不够，我建议你用工具跑一下真实数据：
- NVIDIA Nsight Compute：直接给出每个kernel的计算强度和性能
- PyTorch Profiler：可以导出每个算子的FLOPs和内存访问量
- 自定义profiling：用nvml或cudaEvent记录时间，手动估算
我的习惯：每次拿到一个新模型，第一件事就是跑一遍profiling，把所有算子的计算强度列出来。然后按计算强度排序，从最低的开始优化。这样效率最高，因为访存瓶颈往往更容易解决。
3.7 小结
Roofline模型不是什么高深理论，它就是一张“瓶颈地图”。你只要记住三点：
- 算计算强度：FLOPs / Bytes
- 看落在哪：斜线区还是水平区
- 对症下药：访存瓶颈做融合，计算瓶颈用Tensor Core
说实话，我见过太多人把时间浪费在错误的方向上。有了Roofline模型，你至少知道该往哪个方向使劲。下一节咱们会深入聊具体怎么优化访存密集型算子，到时候我会拿几个真实案例来拆解。