3. Golden Signals 详解 - 延迟（Latency）
延迟是衡量系统响应请求所花费时间的核心指标。在 Golden Signals 中，延迟直接反映用户体验：延迟越高，用户等待时间越长，满意度越低。本节将深入定义延迟、对比测量方法，并揭示常见陷阱。
3.1 延迟的定义与业务意义
延迟（Latency）指从客户端发出请求到收到完整响应所经过的时间。在分布式系统中，延迟通常分为：
- 网络延迟：数据在客户端与服务端之间传输的时间。
- 服务延迟：服务端处理请求并生成响应的时间。
- 队列延迟：请求在等待队列中排队的时间。
业务视角：延迟每增加 100ms，用户转化率可能下降 1%-7%（Amazon、Google 内部研究）。延迟是用户体验的直接映射，也是 SLO 定义中最敏感的指标。
3.2 延迟的测量方法
延迟测量并非简单的“平均时间”，不同方法揭示不同维度的系统行为。以下是三种主流测量方式：
| 测量方法 | 定义 | 适用场景 | 局限性 |
|---|---|---|---|
| 平均值（Mean） | 所有请求延迟的算术平均 | 快速概览整体性能 | 易被极端值（长尾）扭曲，掩盖真实体验 |
| 中位数（p50） | 50% 的请求延迟低于此值 | 反映“典型”用户感受 | 忽略最慢的一半请求，无法感知尾部延迟 |
| 高百分位（p99 / p999） | 99% / 99.9% 的请求延迟低于此值 | 捕捉长尾延迟，识别慢请求对关键用户的影响 | 需要足够样本量，存储和计算成本较高 |
关键原则：在 SRE 实践中，高百分位（p99 / p999） 是延迟测量的黄金标准。平均值和中位数可能完全隐藏慢请求对用户体验的破坏。
3.3 延迟分布的可视化：分位数与长尾
下图展示了典型 Web 服务的延迟分布。平均值和中位数看似正常，但 p99 和 p999 揭示了严重的尾部延迟问题。
3.4 常见陷阱与避坑指南
在延迟测量与误差预算复核中，以下陷阱最容易导致误判：
- 陷阱 1：只关注平均值
平均值会掩盖慢请求。例如：99% 请求 10ms，1% 请求 10s，平均值 ≈ 110ms，看似可接受，但 1% 用户体验极差。 - 陷阱 2：忽略客户端 vs 服务端延迟差异
服务端记录的延迟通常不包括网络传输和客户端渲染时间。真实用户体验延迟可能比服务端指标高 2-5 倍。 - 陷阱 3：采样不足导致高百分位失真
计算 p99 需要足够样本量。如果每分钟只有 100 个请求，p99 可能仅代表 1 个请求，统计意义极低。 - 陷阱 4：未区分成功与失败请求
失败请求（如超时、错误）的延迟通常极短或极长，混入统计会严重扭曲真实性能。 - 陷阱 5：忽略队列效应
高并发下，请求在队列中等待的时间可能远超处理时间。仅测量处理延迟会遗漏系统瓶颈。
SRE 实战提醒：在误差预算复核中，延迟的测量必须基于 客户端视角 的 高百分位（p99 或 p999），并排除失败请求的干扰。否则，误差预算可能掩盖真实用户体验劣化。
3.5 延迟测量架构：从采集到告警
下图展示了一个完整的延迟测量与告警架构，涵盖数据采集、聚合、存储和告警触发。
3.6 延迟测量最佳实践总结
- 使用高百分位（p99 / p999） 作为延迟 SLO 的测量基准，避免平均值陷阱。
- 区分客户端与服务端延迟，优先以客户端视角定义 SLO。
- 确保样本量充足：p99 至少需要 1000 个请求/分钟，p999 需要 10000+。
- 排除失败请求：在延迟统计中单独追踪错误率，避免混合计算。
- 监控队列深度：结合队列延迟分析，识别系统瓶颈。
核心结论：延迟是 Golden Signals 中最敏感、最易被误解的指标。只有通过高百分位、多维度、客户端优先的测量方法，才能准确反映用户体验，为误差预算复核提供可靠依据。