1. CUDA自定义算子开发全景

在深度学习框架中，算子（Operator）是构成计算图的基本单元，例如卷积、矩阵乘、LayerNorm、Softmax、GELU、RoPE 等。框架通常为常见算子提供高度优化实现，但当模型结构出现新算子、融合模式或特殊数据布局时，就需要开发者自行编写自定义算子。在 NVIDIA GPU 上，自定义算子的核心执行体就是 CUDA 内核（Kernel）：一段由大量线程并行执行的设备端函数。算子是对外暴露的语义接口，内核是其在 GPU 上的具体实现，二者是“接口与实现”的关系。

理解这一关系，需要区分三个层次。第一层是框架层：算子以函数签名、属性、输入输出张量描述计算语义，例如 y = gelu(x)。第二层是调度层：决定如何把张量切分、选择网格与线程块配置、是否使用共享内存或张量核心。第三层是内核层：真正运行在 SM（流多处理器）上的 CUDA C++ 代码，包含线程索引计算、内存访问、计算与同步。一个算子可以由一个或多个内核组成，也可以把多个算子融合进一个内核以减少访存。

自定义算子的典型场景主要有四类。其一是新算子支持：论文或业务中出现的算子框架尚未实现，如自定义激活、特殊归一化。其二是算子融合：把 ElementWise 链、Bias+Activation、LayerNorm+残差等合并，减少中间张量的读写。其三是性能瓶颈替换：通用实现未针对特定形状优化，例如小 batch、超大词表、稀疏或非连续布局。其四是精度与数值需求：需要 FP16/BF16/FP8 混合精度、确定性归约或特殊数值稳定处理。

开发流程通常从语义定义开始，到性能验证结束。下面给出一个可复用的流程与工具链示例：

1. 定义算子语义：输入/输出形状、dtype、广播规则、边界条件
2. 编写 CUDA 内核：线程索引、内存访问、计算、同步
3. 主机端封装：cudaMalloc/cudaMemcpy 或直接使用框架张量指针
4. 编译：nvcc -O3 -arch=sm_80 -lineinfo
5. 正确性验证：与 CPU/PyTorch 参考实现逐元素比对
6. 性能测量：nsys/ncu 采集时间、带宽、占用率、stall 原因
7. 调优：调整 block/grid、向量化、共享内存、流水线
8. 集成：通过 PyTorch C++ Extension、CUDA Runtime 或自定义 op 注册

工具链方面，nvcc 负责编译，nsys 用于系统级时间线分析，ncu（Nsight Compute）用于内核级指标采集，cuda-gdb 与 compute-sanitizer 用于调试和内存检查。若使用 PyTorch，可通过 torch.utils.cpp_extension 快速加载，或用 torch.library 注册自定义算子。

性能优化目标与衡量指标必须明确。常见目标包括：降低端到端延迟、提高吞吐、减少显存占用、提升计算单元利用率。衡量指标有：内核执行时间、有效内存带宽（GB/s）、SM 占用率、寄存器/共享内存使用量、指令吞吐、warp 分支效率、L2 命中率。一个实用的判断是：若内核受限于全局内存带宽，应优先做向量化与融合；若受限于计算，应检查是否使用张量核心或减少冗余指令。

下面用一张关系图概括“算子—内核—工具链—指标”的整体结构，帮助建立全局视角。

从图中可以看到，算子语义、调度策略、内核实现构成自上而下的映射关系，而工具链与指标则贯穿整个开发闭环。实际开发中，最常见的误区是只关注内核代码本身，却忽略了调度层对性能的决定性影响。例如，一个简单的逐元素内核，若 block 大小设为 1024 且未做向量化，可能只达到峰值带宽的 30%；而改为 256 线程、每线程处理 4 个 float4 元素后，带宽可显著提升。因此，理解“算子—内核—调度—指标”的完整链路，是后续所有优化工作的基础。