4. GPU推理性能核心概念
在金融模型推理场景中，GPU之所以能把矩阵乘法、卷积、注意力计算等操作从毫秒级压缩到微秒级，根本原因不在于“核心更多”，而在于其计算组织方式、存储层次与调度机制与CPU存在本质差异。理解这些差异，是后续做算子融合、批处理调优、显存布局优化的前提。本节围绕CUDA架构、线程束、显存层次、计算能力、张量核心与加速原理六个核心概念展开。
一、CUDA架构：从线程到流多处理器的映射
CUDA将GPU计算抽象为三层结构：线程（Thread）→ 线程块（Block）→ 网格（Grid）。线程是执行的最小单位，多个线程组成线程块，线程块再组成网格。硬件侧对应的是流多处理器（SM），每个SM包含若干CUDA核心、寄存器文件、共享内存和调度单元。线程块被调度到SM上执行，块内线程可通过共享内存和同步原语协作，块间则相互独立。
这种映射关系决定了两个关键事实：其一，线程块大小必须是32的倍数，否则会浪费执行槽位；其二，块内线程数、每线程寄存器用量、共享内存用量共同决定了一个SM能同时驻留多少个块，即占用率（Occupancy）。金融推理中常见的批量矩阵乘，若块尺寸设置不当，占用率过低会导致延迟隐藏失败，算力利用率可能不足30%。
二、线程束：GPU调度的真正单位
GPU硬件并不以单个线程为调度单位，而是以32个线程组成的线程束（Warp）为单位。同一Warp内的32个线程执行同一条指令，但操作不同数据，这就是SIMT（单指令多线程）模型。若Warp内线程因条件分支走向不同路径，就会发生分支发散（Divergence），两条路径被串行执行，有效并行度下降。
在金融风控模型或期权定价蒙特卡洛模拟中，若每个线程处理不同行权价或不同路径，且存在大量if-else判断，分支发散会显著拖慢推理。优化手段包括：将条件判断改为算术选择、按条件对数据重排序使同Warp线程走同一分支、或用谓词执行替代跳转。
三、显存层次：延迟与带宽的阶梯
GPU存储层次从快到慢依次为：寄存器、共享内存/L1、L2缓存、全局显存。寄存器访问约1个周期，共享内存约20-30周期，全局显存则高达400-800周期。金融模型推理中，权重和激活值通常放在全局显存，若每次计算都直接读取，延迟将完全暴露。
因此，高效内核的标准做法是：将频繁复用的数据块从全局显存分块（Tiling）加载到共享内存，线程在共享内存上完成多次计算，再写回全局显存。矩阵乘中经典的“分块+共享内存”策略，正是利用了这一层次差异，把全局显存访问次数降低一个数量级。
| 存储层级 | 典型延迟 | 作用域 | 金融推理中的典型用途 |
|---|---|---|---|
| 寄存器 | ~1 cycle | 单线程 | 累加器、循环变量、临时标量 |
| 共享内存/L1 | ~20-30 cycles | 线程块内 | 矩阵分块、卷积滑窗缓存 |
| L2缓存 | ~200 cycles | 全GPU | 跨块复用的权重、中间特征图 |
| 全局显存 | ~400-800 cycles | 全GPU | 模型权重、输入批次、输出结果 |
四、计算能力与张量核心：从通用到专用
计算能力（Compute Capability）是NVIDIA用版本号标识GPU硬件特性的方式，如7.5、8.0、8.6、9.0。它决定了可用指令集、最大线程块尺寸、共享内存容量以及是否支持张量核心。金融推理部署时，必须确认编译目标架构与目标GPU匹配，否则可能无法启用关键指令。
张量核心（Tensor Core）是自Volta架构引入的专用矩阵运算单元，可在单条指令内完成4×4或更大矩阵的混合精度乘加。相比CUDA核心，张量核心在FP16/BF16/INT8下可提供数倍至数十倍吞吐。金融领域中的因子暴露计算、风险矩阵乘法、深度学习选股模型，均可通过张量核心获得显著加速。但需注意：张量核心对矩阵维度有对齐要求，且精度损失需在金融场景中谨慎评估。
# 查看GPU计算能力与张量核心支持
nvidia-smi --query-gpu=name,compute_cap --format=csv
# 输出示例：
# name, compute_cap
# NVIDIA A100-SXM4-40GB, 8.0
# NVIDIA RTX 4090, 8.9
# 编译时指定目标架构（以A100为例）
nvcc -arch=sm_80 -o infer_kernel infer_kernel.cu
五、GPU加速原理：延迟隐藏与吞吐优先
CPU优化追求降低单线程延迟，GPU优化追求提高整体吞吐。GPU通过大量并发Warp来隐藏内存延迟和指令延迟：当一个Warp等待显存数据时，调度器立即切换到另一个就绪Warp执行。因此，GPU性能公式可简化为：性能 ≈ 有效并行Warp数 × 每Warp有效计算量 / 总周期。
金融推理中常见的误区是只关注“算力峰值”，却忽略了数据搬运和调度开销。实际加速比往往受限于显存带宽、内核启动开销和批次大小。例如，单条样本推理时GPU利用率可能极低，而将数百条样本组成批次后，同一内核可同时处理大量数据，吞吐提升数十倍。
六、案例复盘：一个金融推理内核的优化路径
某信用评分模型包含大量小型矩阵乘和逐元素操作。初始版本直接使用逐元素CUDA内核，GPU利用率仅15%。优化步骤：第一，将相邻逐元素操作融合为单个内核，减少内核启动和显存往返；第二，将矩阵乘改为分块共享内存实现，提高数据复用；第三，确认GPU计算能力为8.6，启用TF32张量核心路径；第四，调整线程块为256线程，使占用率从37%提升至75%。最终端到端推理延迟下降约6倍。