2. 延迟指标定义：P50/P95/P99延迟、吞吐量、响应时间分解

在模型服务延迟优化中，准确理解并定义延迟指标是第一步。不同的百分位延迟反映了系统在不同负载下的性能表现，而吞吐量与响应时间分解则帮助我们定位瓶颈。本节将系统性地定义这些核心指标，并展示它们之间的关联。

2.1 核心延迟百分位：P50 / P95 / P99

延迟百分位是衡量模型服务响应速度的关键统计量。它们描述了在给定时间窗口内，一定比例请求的响应时间上限。

2.2 吞吐量（Throughput）与延迟的关系

吞吐量定义为系统在单位时间内成功处理的请求数（QPS，Queries Per Second）。吞吐量与延迟之间存在经典的“倒 U 型”关系：当吞吐量接近系统饱和点时，延迟会急剧上升。

2.3 响应时间分解（Response Time Breakdown）

为了精准优化，必须将端到端响应时间拆解为多个子阶段。对于可解释评分接口，典型的分解结构如下：

2.4 各阶段典型耗时占比与优化方向

根据实际生产数据，可解释评分接口的各阶段耗时占比通常呈现以下分布：

2.5 指标采集与计算示例

在实际系统中，我们通常使用滑动窗口（如 1 分钟窗口）来实时计算百分位延迟。以下是一个简化的 Python 计算逻辑：

import numpy as np
from collections import deque

class LatencyTracker:
    def __init__(self, window_size=60):
        self.window = deque(maxlen=window_size)

    def record(self, latency_ms: float):
        self.window.append(latency_ms)

    def get_percentiles(self):
        if not self.window:
            return {}
        arr = np.array(self.window)
        return {
            "P50": np.percentile(arr, 50),
            "P95": np.percentile(arr, 95),
            "P99": np.percentile(arr, 99),
            "avg": np.mean(arr),
            "max": np.max(arr),
        }

# 使用示例
tracker = LatencyTracker(window_size=1000)
# 模拟记录延迟
for _ in range(1000):
    tracker.record(np.random.exponential(scale=50))  # 模拟延迟分布
print(tracker.get_percentiles())
# 输出示例: {'P50': 34.7, 'P95': 149.8, 'P99': 230.1, 'avg': 50.2, 'max': 412.3}