延迟水位基础：定义、测量单位与系统负载关系

延迟水位（Latency Water Level）是衡量请求从发出到完成所经历时间的关键指标，也是判断系统健康状态与资源配额是否充足的核心依据。在 SRE 与可观测性实践中，延迟水位直接反映用户体验，并作为触发限流、扩容或降级策略的早期信号。

2.1 延迟水位的定义

延迟水位定义为：在给定时间窗口内，请求响应时间的统计分布值。它不是一个单一数值，而是一组分位数（Percentile）构成的“水位线”，用于描述系统在不同负载下的响应速度。

2.2 测量单位：毫秒与微秒

延迟的测量单位根据系统类型和精度要求分为毫秒（ms）和微秒（μs）。选择合适的单位直接影响观测数据的有效性和存储成本。

2.3 延迟与系统负载的关系

延迟与系统负载之间存在典型的非线性关系，理解这一关系是设置合理延迟水位阈值的前提。下图展示了负载从低到高过程中延迟的变化模式。

上图展示了三个关键区域：

• 健康区（绿色）：负载较低，延迟保持稳定，P50 与 P99 差距较小，系统处于空闲或高效状态。
• 警戒区（橙色）：负载接近设计容量，延迟开始缓慢上升，P99 与 P50 的差距逐渐拉大，出现尾部延迟。
• 危险区（红色）：负载超过系统处理能力，延迟急剧上升，P99 可能达到 P50 的 5-10 倍，系统面临雪崩风险。

2.4 延迟水位与资源配额的关系

在“观测策略即代码”框架中，延迟水位直接驱动资源配额模型的动态调整。下表总结了不同延迟水位对应的典型动作：

2.5 延迟水位的测量方法

在实际系统中，延迟水位的测量需要结合客户端、服务端和中间件三方的数据。以下是推荐的测量架构：

2.6 延迟水位的代码观测示例

以下 Python 代码展示了如何使用 Prometheus 客户端库测量并暴露延迟水位指标：

from prometheus_client import Histogram, start_http_server
import time
import random

# 定义延迟直方图：测量单位毫秒，分桶覆盖 1ms 到 5000ms
REQUEST_LATENCY = Histogram(
    'http_request_duration_ms',
    'HTTP 请求延迟（毫秒）',
    buckets=[1, 5, 10, 25, 50, 100, 200, 500, 1000, 2000, 5000],
    labelnames=['endpoint', 'method']
)

def handle_request(endpoint: str, method: str):
    """模拟请求处理并记录延迟"""
    start = time.time()
    # 模拟处理时间（1-300ms）
    delay_ms = random.uniform(1, 300)
    time.sleep(delay_ms / 1000.0)
    # 记录延迟
    REQUEST_LATENCY.labels(endpoint=endpoint, method=method).observe(delay_ms)

if __name__ == '__main__':
    start_http_server(8000)
    while True:
        handle_request('/api/users', 'GET')
        time.sleep(0.5)