1. 课程导入：GPU内核调优的背景、目标、挑战与数据驱动迭代调优
1.1 为什么GPU内核需要调优：从“能跑”到“跑得快”
现代高性能计算与深度学习训练高度依赖GPU的并行计算能力。然而，绝大多数开发者在编写CUDA、HIP或OpenCL内核时，首要目标是“功能正确”——即输出结果与预期一致。当内核能够正确运行后，性能问题便随之浮现：同一份计算任务，在不同内核实现下的执行时间可能相差数倍甚至数十倍。这种差距并非源于硬件差异，而是源于内核是否充分利用了GPU的存储层次、线程调度机制与内存带宽。
以矩阵乘法为例，一个朴素的三重循环内核在NVIDIA A100上的浮点利用率可能不足10%，而经过共享内存分块（tiling）、向量化加载、寄存器重排等优化后，利用率可提升至80%以上。这种数量级的性能差异，正是GPU内核调优存在的根本意义。
1.2 调优目标：多维度的性能指标
GPU内核调优的目标并非单一指标，而是多个相互关联的维度。下表列出了最核心的调优目标及其典型度量方式：
| 目标维度 | 典型度量指标 | 说明 |
|---|---|---|
| 执行时间 | 内核耗时（ms/μs） | 最直接的性能度量，通常作为最终优化目标 |
| 吞吐量 | GFLOPS、GB/s | 单位时间完成的浮点运算量或数据搬运量 |
| 占用率 | 活跃线程数 / 最大线程数 | 反映线程级并行度是否足以隐藏延迟 |
| 内存效率 | 全局内存事务数、L2命中率 | 衡量内存访问模式是否合并、是否有效利用缓存 |
| 功耗效率 | 每瓦特GFLOPS | 在功耗受限场景（如数据中心）中尤为重要 |
值得注意的是，这些目标之间往往存在权衡关系。例如，提高占用率可能增加寄存器溢出风险，从而降低内存效率；增大共享内存分块可能减少全局内存访问，但会限制每个SM上可同时驻留的线程块数量。因此，调优本质上是一个在多维空间中寻找帕累托最优解的过程。
1.3 调优的核心挑战：为什么不能靠直觉
GPU内核性能受多种硬件机制共同影响，这使得基于直觉或经验法则的调优方式常常失效。主要挑战包括：
- 硬件架构复杂性：现代GPU包含多级缓存（L1/L2）、共享内存、寄存器文件、张量核心、多种内存访问路径，各部件之间的交互关系难以凭直觉建模。
- 性能瓶颈的动态性：同一内核在不同输入规模、不同GPU型号下，瓶颈可能从计算密集转变为访存密集，或从延迟受限转变为带宽受限。
- 参数空间巨大：线程块大小、网格维度、共享内存分配量、循环展开因子、向量化宽度等参数组合可达数万种，逐一尝试不现实。
- 编译器行为不确定性：编译器对代码的优化（如指令重排、寄存器分配）会显著影响最终性能，开发者难以精确预测。
这些挑战决定了GPU调优必须从“拍脑袋改参数”转向系统化、数据驱动的迭代方法。
1.4 数据驱动迭代调优的整体流程
数据驱动迭代调优的核心思想是：用性能剖析数据替代主观猜测，用结构化实验替代随机试错。其整体流程可概括为以下六个阶段：
- 基线建立：编译并运行未优化的内核版本，记录执行时间、占用率、内存吞吐等基线数据。
- 瓶颈定位：使用NVIDIA Nsight Compute、Nsight Systems或AMD ROCm Profiler等工具，获取内核的硬件计数器数据，识别主要性能瓶颈（如访存延迟、计算吞吐不足、分支发散等）。
- 假设生成：基于剖析数据，针对瓶颈提出具体的优化假设。例如，若L2缓存命中率低，假设“通过共享内存分块减少全局内存访问”可提升性能。
- 实验实施：修改内核代码或调整启动配置，实施一项（或少量几项）优化措施，避免同时改动多个变量导致无法归因。
- 数据对比：重新剖析优化后的内核，与基线数据进行同维度对比，验证假设是否成立，量化性能提升幅度。
- 迭代收敛：若性能提升显著，则更新基线并进入下一轮优化；若提升不明显或出现性能回退，则回退改动并重新分析。重复上述过程直至达到性能目标或收益递减。
下图展示了这一迭代循环的结构化流程：
1.5 典型案例：一个访存密集型内核的调优路径
假设我们有一个向量归约（reduction）内核，输入为1亿个浮点数，需要计算其总和。初始实现采用最简单的单线程块串行累加策略，执行时间为12.8ms。通过Nsight Compute剖析发现：
- 全局内存负载效率仅为35%（未合并访问）；
- SM占用率仅为12.5%（线程块太小）；
- 内存吞吐量远未达到硬件峰值。
基于这些数据，我们依次实施以下优化：
- 第一轮：改为多线程块两阶段归约（每个块处理一部分数据，块间原子操作汇总），执行时间降至3.2ms（提升75%）。
- 第二轮：引入共享内存暂存每个线程块的局部结果，避免频繁原子操作，执行时间降至1.1ms（再提升66%）。
- 第三轮：调整线程块大小为256，并采用向量化float4加载，执行时间降至0.7ms（再提升36%）。
- 第四轮：剖析显示此时瓶颈已变为内存带宽，进一步优化计算逻辑不再带来明显收益，调优终止。
最终性能提升约18倍，且每一轮优化都有明确的剖析数据作为决策依据，而非盲目尝试。