第1章：算子性能模型——Roofline模型详解
各位同学，今天咱们来聊聊算子调优里最核心的一个工具——Roofline模型。说实话，我刚开始做性能优化那会儿，也走了不少弯路。那时候拿到一个算子，上来就闷头调，调了半天也不知道瓶颈到底在哪。后来一位老前辈甩给我一句话：「你先画个Roofline看看。」从那以后，我才真正开了窍。
1.1 什么是Roofline模型？
Roofline模型，说白了就是一个可视化性能分析工具。它把算子的性能上限画成一条「屋顶线」，你的算子性能再牛，也翻不过这个屋顶。
这个模型最早是Berkeley的团队提出来的。我当年在项目里第一次用它分析矩阵乘法，一眼就看出来瓶颈在访存上——嗯，那感觉就像黑暗中突然开了灯。
核心思想：算子的性能受限于两个因素——计算能力（FLOPS）和访存带宽（Bytes/s）。谁更慢，谁就是瓶颈。
1.2 Roofline模型的数学表达
咱们先看公式。别怕，很简单：
性能 (GFLOP/s) = min( 峰值计算性能, 峰值访存带宽 × 算术强度 )这里有个关键概念——算术强度（Arithmetic Intensity）。它的定义是：
算术强度 = 总计算量 (FLOPs) / 总访存量 (Bytes)举个例子。假设一个算子做了1000次浮点运算，读了500字节数据，写了500字节数据，那算术强度就是：
AI = 1000 / (500 + 500) = 1.0 FLOPs/Byte这个值越大，说明算子越「计算密集」；越小，说明越「访存密集」。
1.3 计算密集型 vs 访存密集型
我习惯把算子分成两类。你想想看，就像做饭：
- 计算密集型：好比炖一锅汤，大部分时间花在「煮」上（计算），偶尔翻一翻（访存）。比如矩阵乘法、卷积。
- 访存密集型：好比切菜，大部分时间花在「拿菜、放菜」上（访存），真正切的动作（计算）很快。比如向量加法、逐元素操作。
怎么判断一个算子属于哪一类？看它在Roofline图上的位置：
| 算子类型 | 算术强度范围 | 典型例子 | 优化方向 |
|---|---|---|---|
| 计算密集型 | AI > 拐点 | 矩阵乘法、卷积 | 提升计算效率（向量化、并行） |
| 访存密集型 | AI < 拐点 | 向量加法、激活函数 | 减少访存（复用、合并访问） |
个人经验：我在优化一个BERT模型时，发现LayerNorm的算术强度只有0.3 FLOPs/Byte，典型的访存密集型。当时我花了很多精力去优化它的计算，结果性能纹丝不动。后来改成优化访存模式，速度直接翻倍。所以，先看Roofline，再动手！
1.4 如何绘制Roofline图？
画图其实不复杂。你需要两个硬件参数：
- 峰值计算性能：比如你的GPU是100 TFLOPS（FP32）
- 峰值访存带宽：比如HBM带宽是1.5 TB/s
然后计算拐点：
拐点 = 峰值计算性能 / 峰值访存带宽
= 100 TFLOPS / 1.5 TB/s
= 66.7 FLOPs/Byte这个拐点就是「分水岭」。左边是访存瓶颈区，右边是计算瓶颈区。
下面是我用SVG画的一个Roofline示意图，帮你直观理解：
从图上可以清楚看到：向量加法落在访存瓶颈区，矩阵乘法落在计算瓶颈区。优化策略完全不同。
1.5 算术强度的实际计算
咱们拿一个具体的算子来算。以矩阵乘法 C = A × B 为例，假设A是M×K，B是K×N：
总计算量 = 2 × M × N × K (乘加各算一次)
总访存量 = M×K + K×N + M×N (读A、读B、写C) × 4字节 (FP32)
算术强度 = (2 × M × N × K) / (4 × (M×K + K×N + M×N))当M=N=K=1024时：
AI = (2 × 1024³) / (4 × (1024² + 1024² + 1024²))
= 2.147e9 / (4 × 3.146e6)
= 2.147e9 / 1.258e7
≈ 170.7 FLOPs/Byte这个值远大于拐点66.7，所以是计算密集型。
注意：我曾经犯过一个错误——只算了读入数据，忘了算写出数据。结果算术强度算高了一倍，优化方向完全错了。所以，访存量一定要算全：读+写。
1.6 如何用Roofline指导优化？
拿到一个算子，我的习惯是三步走：
- 算算术强度——确定它在Roofline图上的位置
- 看瓶颈在哪——访存瓶颈还是计算瓶颈
- 针对性优化——瓶颈在哪，就优化哪
举个例子。我之前优化一个卷积层，算术强度算出来是20 FLOPs/Byte，明显在访存瓶颈区。那我就不去折腾指令级并行，而是把精力放在：
- 数据复用（用tiling技术）
- 合并访存（连续读取）
- 减少数据搬运（fuse操作）
结果性能提升了3倍。如果当时我傻傻地去优化计算，可能连10%的提升都拿不到。
避坑指南：我曾经遇到一个算子，算术强度刚好在拐点附近。这时候别急着下结论，建议用profiler跑一下实际数据，看看compute utilization和memory utilization哪个先到100%。有时候理论值和实际值会有偏差。
1.7 小结
Roofline模型是算子调优的「导航仪」。它告诉你：
- 你的算子现在在哪条路上
- 这条路限速多少
- 该换轮胎还是该换发动机
记住一句话：不要用计算优化的思路去解决访存瓶颈的问题。方向错了，越努力越尴尬。
下一章咱们会深入讲如何用Roofline模型做实际性能分析，包括怎么用profiler采集数据、怎么画图、怎么解读结果。到时候我会拿几个真实案例来拆解，保证让你看完就能上手。