4. 黄金路径指标定义
黄金路径指标(Golden Path Metrics)是服务可观测性中最核心、最精简的一组度量标准。它们直接反映服务的健康状态与用户体验,是 SRE 团队在告警分层、故障定位、容量规划中必须优先关注的指标集合。任何服务目录平台在环境晋级通道中,都必须以黄金路径指标作为准入与判定的第一道关卡。
核心定义:黄金路径指标是指从用户请求端到服务响应端,能够最直接表征服务是否正常工作的少数关键指标。它们通常覆盖延迟、流量、错误、饱和度四个维度,即“四大黄金信号”。
4.1 四大黄金信号概述
Google SRE 经典著作中提出的四大黄金信号(Four Golden Signals)是黄金路径指标的基石。下表对比了每个信号的定义、典型度量单位及在服务目录平台中的关注点:
| 黄金信号 | 定义 | 典型度量单位 | 平台关注点 |
|---|---|---|---|
| 延迟(Latency) | 请求从发出到收到完整响应所消耗的时间 | 毫秒(ms)、秒(s) | P50/P95/P99 分位延迟,区分成功与失败请求 |
| 流量(Traffic) | 系统当前承载的请求负载总量 | QPS、RPS、并发连接数 | 流量突增/突降、与基线的偏差率 |
| 错误(Errors) | 请求处理失败的比率或数量 | 错误率(%)、HTTP 5xx 计数 | 显式错误(HTTP 状态码)+ 隐式错误(业务异常) |
| 饱和度(Saturation) | 系统资源被消耗的程度,越接近上限越危险 | CPU%、内存%、磁盘 IOPS、连接池使用率 | 资源利用率阈值、排队深度、限流触发点 |
实践要点:在服务目录平台中,每个服务实例的环境晋级(如从开发环境晋级到预发环境)必须同时满足四个黄金信号的健康基线,缺一不可。
4.2 四大黄金信号详细解释
4.2.1 延迟(Latency)
延迟是用户体验最直接的体现。SRE 团队通常关注分位延迟而非平均值,因为平均值会掩盖长尾问题。P99 延迟超过 500ms 的服务,即使平均延迟只有 50ms,也可能导致大量用户感知到卡顿。
- 成功请求延迟 vs 失败请求延迟:失败请求往往返回极快(如 4xx 错误),会拉低整体延迟,必须分开统计。
- 典型告警阈值:P95 延迟 > 200ms 触发警告,P99 延迟 > 1s 触发严重告警。
4.2.2 流量(Traffic)
流量反映系统的负载压力。在服务目录平台中,流量指标用于判断服务是否处于正常负载区间,以及是否需要自动扩缩容。
- 常用指标:每秒请求数(QPS)、每秒事务数(TPS)、活跃连接数。
- 异常模式:流量突增 3 倍以上可能预示营销活动或攻击;流量突降 80% 可能预示上游故障或路由异常。
4.2.3 错误(Errors)
错误信号不仅包括 HTTP 5xx 服务端错误,还应涵盖业务层面的隐式错误(如返回 200 但业务码为失败)。
- 显式错误:HTTP 500/502/503/504,gRPC Internal/Unavailable。
- 隐式错误:支付超时但返回 200、库存不足但返回成功。
- 错误率基线:通常以错误率 > 1% 作为警告线,> 5% 作为严重线。
4.2.4 饱和度(Saturation)
饱和度是容量规划的先行指标。当资源使用率接近 100% 时,延迟会急剧上升,错误率也会随之增加。
- 关键资源:CPU、内存、磁盘 I/O、网络带宽、数据库连接池、线程池。
- 排队深度:请求队列长度是饱和度的敏感指标,队列增长往往比 CPU 使用率更早反映问题。
- 典型阈值:CPU 使用率 > 80% 警告,> 95% 严重;连接池使用率 > 70% 警告。
常见误区:不要只监控资源使用率而忽略排队深度。一个 CPU 使用率 60% 但请求队列持续增长的服务,可能比 CPU 90% 但队列稳定的服务更危险。
4.3 四大黄金信号关系图
下图展示了四大黄金信号之间的典型因果关系与联动模式:
4.4 黄金路径指标在服务目录中的应用
在服务目录平台中,每个服务实例在环境晋级通道中必须通过黄金路径指标的健康检查。以下是一个典型的晋级检查清单:
| 检查项 | 黄金信号 | 晋级基线(预发环境) | 严重告警线 |
|---|---|---|---|
| P99 延迟 | 延迟 | < 500ms | > 2s |
| QPS 偏差率 | 流量 | ±20% 以内 | ±50% 以上 |
| 错误率 | 错误 | < 0.5% | > 5% |
| CPU 使用率 | 饱和度 | < 70% | > 95% |
| 连接池使用率 | 饱和度 | < 60% | > 85% |
关键原则:黄金路径指标不是静态的。随着服务版本迭代和业务量变化,基线需要定期校准。建议每两周根据历史数据重新计算一次分位阈值。
4.5 黄金路径指标与告警分层的关系
黄金路径指标是告警分层策略的输入源。在后续章节中,我们将基于这四个信号设计 P0/P1/P2/P3 告警等级。简单对应关系如下:
- P0(严重):错误率 > 10% 或 P99 延迟 > 5s 或饱和度 > 98%
- P1(高):错误率 > 5% 或 P99 延迟 > 2s 或饱和度 > 90%
- P2(中):错误率 > 1% 或 P95 延迟 > 1s 或饱和度 > 80%
- P3(低):流量偏差 > 50% 或 P50 延迟 > 500ms