1、算子优化概述：什么是算子、为什么需要优化、性能瓶颈分析

大家好，我是你们的老朋友。今天咱们正式开始聊算子优化。

说实话，我刚开始接触深度学习推理时，也搞不清楚「算子」到底是个啥。那时候我还在做传统图像处理，突然被拉去做AI部署，一脸懵。后来踩了不少坑，才慢慢摸清楚门道。

嗯，咱们今天就把这块彻底讲透。

1.1 什么是算子？

先问个问题：你写神经网络的时候，是不是经常用 Conv2D、ReLU、BatchNorm 这些层？

这些层在推理引擎里，就被叫做「算子」。说白了，算子就是神经网络中最基本的计算单元。一个卷积操作是一个算子，一个激活函数也是一个算子。

我习惯把算子分成三类：

• 计算密集型算子：比如卷积、矩阵乘法。这类算子主要吃算力，GPU 喜欢它们。
• 访存密集型算子：比如 ReLU、Add、Reshape。这类算子主要吃带宽，CPU 和 GPU 都头疼。
• 控制流算子：比如条件判断、循环。这类算子不多，但处理不好容易卡住。

1.2 为什么需要优化？

你想想看，一个 ResNet-50 模型，光卷积算子就有 50 多个。如果每个算子慢 1 毫秒，整个模型就慢了 50 毫秒。这在手机端或者自动驾驶场景里，是致命的。

我在项目中遇到过一件事：一个客户部署人脸识别模型，在 GPU 上跑得飞快，但换到 ARM 芯片上，直接卡成 PPT。查了半天，发现是某个卷积算子没有针对 ARM 做优化，性能差了 10 倍。

所以，算子优化的核心目标就三个：

1. 减少计算量：同样的结果，用更少的浮点运算。
2. 提高访存效率：让数据在缓存里多待一会儿，别老去内存里取。
3. 利用硬件特性：比如 GPU 的 Tensor Core、ARM 的 NEON 指令集。

1.3 性能瓶颈分析

好，现在你知道要优化了。但问题来了：到底该优化哪个算子？

我见过不少新手，一上来就对着代码瞎改，改完发现性能没变化。为什么？因为没找到真正的瓶颈。

性能瓶颈分析，说白了就是「找短板」。我一般用三步走：

第一步：Profiling（性能剖析）

用工具跑一遍模型，看看每个算子花了多少时间。常用的工具有：

硬件平台	推荐工具	说明
NVIDIA GPU	Nsight Systems / nvprof	可以看 kernel 耗时、访存带宽
ARM CPU	perf / gprof	看函数级耗时、缓存命中率
通用	PyTorch Profiler / TensorBoard	适合快速定位热点算子

我个人习惯先用 PyTorch Profiler 跑一遍，大概知道哪些算子耗时占比高。然后再用 Nsight 或者 perf 做细粒度分析。

第二步：分析瓶颈类型

拿到 profiling 结果后，别急着改。先判断瓶颈属于哪一类：

• 计算瓶颈：算子耗时高，但 GPU 利用率也高。说明计算单元在满负荷工作。这时候需要优化算法，比如用 Winograd 卷积代替普通卷积。
• 访存瓶颈：算子耗时高，但 GPU 利用率低。说明数据搬运太慢。这时候需要优化数据布局，比如用 NHWC 格式代替 NCHW。
• 启动开销：算子本身很快，但调用次数太多。比如很多小算子频繁启动 kernel。这时候需要算子融合，把多个小算子合并成一个。

第三步：制定优化策略

根据瓶颈类型，选择对应的优化手段：

• 计算瓶颈：算子替换（如用 im2col + GEMM）、量化（INT8/FP16）、稀疏化。
• 访存瓶颈：内存对齐、数据重排、使用共享内存/缓存。
• 启动开销：算子融合、kernel 合并、使用 persistent kernel。

1.4 知识体系总览

为了让你更直观地理解算子优化的全貌，我画了一张图：

这张图把算子优化的核心脉络串起来了。从定义到原因，再到分析方法，最后到具体手段。你每次做优化时，都可以对照这张图，看看自己卡在哪一步。

1.5 小结

这一章我们聊了三个核心问题：

• 算子是什么：神经网络的最小计算单元，分计算密集型、访存密集型、控制流型。
• 为什么优化：为了减少计算量、提高访存效率、利用硬件特性。
• 怎么找瓶颈：先 profiling，再分类，最后制定策略。

我个人觉得，算子优化最难的其实不是技术，而是「找对方向」。方向错了，再努力也是白费。所以下一章开始，我们会深入具体的优化技术，但请记住：先分析，再动手。