2. 延迟指标与性能目标：P99延迟、TP99.9、吞吐量(QPS)、资源消耗(Cost per inference)的定义与行业标准

在低延迟风控模型在线Serving中，性能指标是衡量系统服务质量与成本效益的核心标尺。本章将系统定义四个关键指标：P99延迟、TP99.9、吞吐量(QPS)和资源消耗(Cost per inference)，并给出行业通用标准与参考阈值。

2.1 延迟指标：P99 与 TP99.9

延迟（Latency）指从请求发出到收到完整响应所经过的时间，通常以毫秒（ms）为单位。在风控场景中，延迟直接决定用户等待时长与系统实时性。

2.1.1 P99 延迟（第99百分位延迟）

P99 延迟表示在所有请求中，99% 的请求延迟低于该值，只有 1% 的请求延迟高于它。它比平均延迟更能反映系统在极端情况下的表现。

• 计算公式：将一段时间内所有请求的延迟从小到大排序，取第 99% 位置的数值。
• 典型行业标准：在线风控场景下，P99 延迟通常要求 ≤ 50ms（毫秒）；对于高实时性场景（如支付风控），P99 ≤ 20ms 是常见目标。
• 监控意义：P99 延迟过高意味着部分用户会体验到明显的卡顿，可能导致交易失败或用户流失。

2.1.2 TP99.9（第99.9百分位延迟）

TP99.9 是比 P99 更严格的指标，表示 99.9% 的请求延迟低于该值，只有 0.1% 的请求超出。它用于捕捉极端尾延迟（Tail Latency）问题。

• 典型行业标准：TP99.9 延迟通常要求 ≤ 100ms；在金融级风控系统中，TP99.9 ≤ 80ms 是常见目标。
• 为什么关注 TP99.9：尾延迟往往由垃圾回收（GC）、网络抖动、资源争抢等偶发因素引起，对高价值交易影响极大。

2.2 吞吐量指标：QPS（每秒查询数）

QPS（Queries Per Second）表示系统每秒能处理的请求数量，是衡量系统处理能力的关键指标。

• 定义：QPS = 总请求数 / 时间窗口（秒）。
• 行业标准：风控模型Serving的QPS因业务规模差异巨大。中小型系统 QPS 在 1000~5000 之间；大型支付或电商平台风控系统 QPS 可达 10万+。
• 与延迟的关系：QPS 与延迟通常呈正相关——当 QPS 接近系统瓶颈时，延迟会急剧上升。因此，性能目标通常同时约束 QPS 和 P99 延迟。

2.3 资源消耗指标：Cost per inference（单次推理成本）

Cost per inference 指模型完成一次推理所消耗的计算资源成本，通常以毫秒级 CPU/GPU 时间、内存占用或云服务费用来衡量。

• 计算方式：Cost per inference = 总资源成本（如 CPU 核时、GPU 卡时） / 总推理次数。
• 行业标准：对于 CPU 推理，单次推理成本通常控制在 0.1~1 毫秒 CPU 时间；对于 GPU 推理，单次推理成本在 0.5~5 毫秒 GPU 时间（取决于模型复杂度）。
• 优化目标：在满足延迟和吞吐量要求的前提下，尽可能降低单次推理成本，以控制整体运营支出。

2.4 指标关系与性能目标矩阵

下表总结了四个指标的定义、行业标准及相互影响关系：

2.5 性能目标设定原则

在实际工程中，性能目标通常以“SLA（服务等级协议）”的形式定义。以下是一个典型的风控模型Serving SLA示例：

• 延迟 SLA：P99 ≤ 30ms，TP99.9 ≤ 80ms。
• 吞吐量 SLA：在满足延迟 SLA 的前提下，QPS ≥ 5000。
• 成本 SLA：单次推理成本 ≤ 0.5ms CPU 时间（或等值云服务费用）。

2.6 延迟与吞吐量关系图

下图展示了延迟（P99）与吞吐量（QPS）之间的典型关系曲线，以及性能目标区域：

2.7 资源消耗与模型复杂度关系图

下图展示了模型复杂度（以参数量或层数表示）与单次推理成本之间的关系，以及不同硬件选型的影响：

2.8 性能指标监控与告警建议

在实际生产环境中，建议对以下指标设置多级告警阈值：

• P99 延迟：警告阈值 40ms，严重阈值 60ms。
• TP99.9 延迟：警告阈值 80ms，严重阈值 120ms。
• QPS 饱和度：当当前 QPS 达到系统最大承载能力的 80% 时触发扩容告警。
• Cost per inference：当单次推理成本超过基线 20% 时触发异常告警。

2.9 本章小结