4. 灰度发布核心指标：错误率、延迟P99、CPU/内存使用率、业务成功率、流量比例

灰度发布的核心在于通过可量化的指标判断新版本是否“健康”，从而决定是否继续扩大流量。本节将逐一拆解五个核心准入指标的定义、计算方式与门禁阈值设定逻辑。

4.1 指标全景与分类

五个核心指标可归为三类：可用性指标（错误率、业务成功率）、性能指标（延迟P99、CPU/内存使用率）、流量控制指标（流量比例）。下表展示了每个指标的观测维度与典型门禁阈值：

4.2 指标详解与计算方式

4.2.1 错误率（Error Rate）

错误率是灰度准入最敏感的指标。通常统计 HTTP 5xx（服务端错误）和 4xx（客户端错误，需排除预期错误如 404）。计算公式：

错误率 = (5xx 请求数 + 非预期 4xx 请求数) / 总请求数 × 100%

在 Grafana 中，可通过 PromQL 快速计算：

sum(rate(http_requests_total{status=~"5.."}[5m])) 
/ 
sum(rate(http_requests_total[5m]))

4.2.2 延迟P99（Latency P99）

P99 表示 99% 的请求在多少毫秒内完成。灰度版本如果 P99 劣化超过 20%，通常意味着存在性能瓶颈。PromQL 示例：

histogram_quantile(0.99, 
  sum(rate(http_request_duration_seconds_bucket[5m])) by (le))

4.2.3 CPU / 内存使用率

资源指标用于检测新版本是否存在内存泄漏或 CPU 空转。建议同时监控均值和峰值，避免均值正常但峰值打满节点。PromQL 示例：

# CPU 使用率（容器级别）
avg(rate(container_cpu_usage_seconds_total{container="new-version"}[5m])) 
/ 
container_spec_cpu_quota{container="new-version"}

# 内存使用率
container_memory_working_set_bytes{container="new-version"} 
/ 
container_spec_memory_limit_bytes{container="new-version"}

4.2.4 业务成功率（Business Success Rate）

业务成功率是比错误率更上层的指标。例如“下单成功”、“支付完成”等业务埋点。即使 HTTP 返回 200，业务逻辑也可能失败。计算公式：

业务成功率 = 成功业务事件数 / 总业务事件数 × 100%

4.2.5 流量比例（Traffic Ratio）

流量比例本身不是健康指标，而是风险控制杠杆。灰度发布通常按阶梯推进：1% → 5% → 10% → 50% → 100%。每个阶梯停留观察时间由前四个指标决定。

4.3 指标联动关系与门禁决策流程

五个指标并非独立判断，而是形成联动决策树。下图展示了灰度准入门禁的典型判断流程：

4.4 门禁指标在Grafana中的可视化配置

在 Grafana 中，建议为每个指标创建独立的门禁面板，并叠加基线参考线。以下是一个典型的面板配置清单：

4.5 指标门禁的Prometheus告警规则示例

以下是一组可直接用于 Prometheus 的告警规则，对应灰度发布期间的准入门禁：

groups:
  - name: canary_gate
    rules:
      - alert: CanaryErrorRateHigh
        expr: |
          (sum(rate(http_requests_total{version="canary",status=~"5.."}[5m]))
           / sum(rate(http_requests_total{version="canary"}[5m]))) > 0.001
        for: 2m
        labels:
          severity: critical
        annotations:
          summary: "灰度版本错误率超过0.1%"

      - alert: CanaryLatencyP99High
        expr: |
          histogram_quantile(0.99,
            sum(rate(http_request_duration_seconds_bucket{version="canary"}[5m])) by (le))
          > on() 
          (histogram_quantile(0.99,
            sum(rate(http_request_duration_seconds_bucket{version="stable"}[5m])) by (le)) * 1.2)
        for: 3m
        labels:
          severity: warning
        annotations:
          summary: "灰度版本P99延迟超过基线1.2倍"

      - alert: CanaryCPUHigh
        expr: |
          avg(rate(container_cpu_usage_seconds_total{version="canary"}[5m]))
          / on() avg(rate(container_cpu_usage_seconds_total{version="stable"}[5m]))
          > 1.15
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "灰度版本CPU使用率超过基线15%"

4.6 指标门禁与Grafana联动调试要点

在调试灰度发布门禁时，Grafana 的Annotations和Alerting功能是关键联动工具：

• Annotations 标记发布事件：在 Grafana 面板上叠加灰度发布开始、阶梯切换、回滚等时间点，便于将指标变化与发布动作关联。
• Alerting 触发自动门禁：配置 Grafana Alerting 规则，当错误率或延迟P99超过门禁时，自动触发 Webhook 通知 CI/CD 系统暂停灰度或执行回滚。
• Dashboard 变量切换版本：使用 Grafana 模板变量（如 $version），在同一个面板中快速切换灰度版本与基线版本的指标对比。