一、算子优化全景：为什么需要优化算子？
大家好，我是你们的老朋友。今天咱们聊聊算子优化这件事。
说实话，我入行那会儿，大家写AI模型都是直接调库。PyTorch、TensorFlow一套组合拳下来，模型能跑就行。但后来我发现，同样的模型，有人用A100跑得飞快，有人用同样的卡却慢得像蜗牛。差别在哪？说白了，就是算子优化没做到位。
1.1 为什么非要折腾算子优化？
你可能会问：「框架不是已经帮我们优化好了吗？我干嘛还要自己动手？」
嗯，这个问题我当年也问过。直到有一次，我负责一个推荐系统模型，线上延迟要求5毫秒以内。框架自带的算子跑出来要15毫秒。你说怎么办？只能自己动手优化。
算子优化的核心价值，我总结为三点：
- 性能翻倍：一个精心优化的算子，比框架默认实现快2-10倍，这很常见
- 显存省一半：通过算子融合、内存复用，显存占用能大幅降低
- 硬件榨干：让GPU的计算单元、内存带宽、缓存全部跑满，不浪费一丝一毫
核心观点：算子优化不是锦上添花，而是雪中送炭。当你的模型遇到性能瓶颈时，优化算子往往是性价比最高的解法。
1.2 性能瓶颈到底在哪？
做优化之前，得先知道瓶颈在哪。我个人习惯把算子性能问题分成三类：
| 瓶颈类型 | 典型表现 | 常见算子 |
|---|---|---|
| 计算密集型 | GPU计算单元利用率高，但内存带宽利用率低 | 矩阵乘法、卷积、各种归一化 |
| 访存密集型 | GPU计算单元在等待数据，利用率低 | Embedding、Gather、Reshape、激活函数 |
| 通信密集型 | 多卡训练时，通信时间占比过高 | AllReduce、AllGather、ReduceScatter |
怎么判断？很简单。用NVIDIA的Nsight Systems或者ncu跑一下，看看kernel的occupancy和memory throughput。我在项目中遇到过，有人花了两周优化一个矩阵乘法，结果发现瓶颈根本不在计算，而在数据搬运。方向错了，白费功夫。
小技巧：先做profiling，再动手优化。我一般会用ncu --set full跑一遍，看看每个kernel的详细指标。别凭感觉猜，数据说话。
1.3 优化方法论总览
优化算子这件事，说难也难，说简单也简单。我把它拆成四个层次：
第一层：算法层面
- 选择更优的算法（比如用Winograd代替普通卷积）
- 减少计算量（比如用低精度、稀疏化）
- 算子融合（把多个小算子合并成一个）
第二层：内存层面
- 减少数据搬运（把数据留在缓存里）
- 内存对齐（128字节对齐，让访存更高效）
- 使用共享内存（Shared Memory）做数据复用
第三层：计算层面
- 充分利用Tensor Core（NVIDIA的专用计算单元）
- 指令级并行（ILP）和线程级并行（TLP）
- 减少warp divergence（让同一个warp里的线程走相同分支）
第四层：硬件层面
- 利用异步执行（Stream、CUDA Graph）
- 多卡并行（数据并行、模型并行、流水线并行）
- 利用硬件特性（比如A100的MIG、H100的Transformer Engine）
这四个层次，从上到下，优化的收益递减，但难度递增。我建议你从算法层面开始，先看看能不能用更聪明的办法解决问题。
避坑指南：我曾经在一个项目里，一上来就搞CUDA汇编级别的优化，结果折腾了两周，性能只提升了5%。后来发现，换个算法就能提升30%。记住：先优化算法，再优化代码。
1.4 知识体系全景图
下面这张图，是我自己总结的算子优化知识体系。你把它当作一张地图，后续每个章节都会对应到图中的某个节点。
1.5 一个真实的优化案例
光说不练假把式。我分享一个真实的案例。
去年我优化一个BERT推理模型。框架自带的LayerNorm算子，单次调用要12微秒。模型里有12层，每层两个LayerNorm，光这一项就占了24微秒。整个模型推理才80微秒，你说这占比高不高？
我做了三件事：
- 算子融合：把LayerNorm和前面的MatMul融合成一个kernel，减少一次全局内存读写
- 共享内存优化：把LayerNorm的均值和方差计算放在共享内存里，避免多次访问全局内存
- Warp级别并行：用warp shuffle指令代替共享内存做规约，减少同步开销
结果呢？LayerNorm从12微秒降到了3.5微秒。整个模型推理从80微秒降到了55微秒。你说值不值？
关键启示：优化不是一蹴而就的。我习惯先做profiling，找到最耗时的算子，然后针对性地优化。每次优化后都要重新profiling，看看瓶颈有没有转移。这是一个迭代的过程。
1.6 你需要掌握的工具
工欲善其事，必先利其器。我建议你至少掌握以下工具：
- Nsight Systems：看整体时间线，找性能瓶颈
- Nsight Compute：看单个kernel的详细指标
- CUDA Occupancy Calculator：算occupancy，看资源利用率
- nvcc + cuobjdump：看PTX和SASS汇编，做底层优化
这些工具怎么用？别急，后面每个章节我都会结合实际案例，手把手教你。
我的建议：刚开始别追求一步到位。先学会用Nsight Systems看时间线，找到最耗时的算子。然后针对这个算子，用Nsight Compute看详细指标。一步一步来，别贪多。
好了，第一章就聊到这。算子优化这件事，说白了就是「找到瓶颈，干掉它」。后面的章节，我会带你深入每个优化技术，从理论到实践，从简单到复杂。咱们一步一步来。