3、核心指标定义（上）：QPS、并发连接数（CCU）、请求延迟（P99/P95）、错误率（5xx）

网关容量规划的核心在于建立可量化的基线。在 K8s 集群升级场景中，网关（Ingress/Gateway API/Service Mesh 入口）是流量入口，其容量直接决定升级期间业务是否受损。本节定义四个最关键的容量指标：QPS、并发连接数（CCU）、请求延迟（P99/P95）、错误率（5xx）。这四个指标构成网关容量评估的“四象限”，缺一不可。

3.1 QPS（每秒查询数）

QPS 是最直观的吞吐量指标，定义网关每秒能处理的请求数量。在 K8s 网关场景下，需区分总 QPS 与 有效 QPS：

• 总 QPS：网关 Pod 所有 Ingress/Route 规则接收的 HTTP 请求总数（含重试、健康检查）。
• 有效 QPS：剔除 4xx/5xx 错误后的成功请求数，反映真实业务承载能力。

3.2 并发连接数（CCU）

CCU（Concurrent Connections）衡量网关同时维持的 TCP/HTTP 连接数。K8s 网关通常使用反向代理模式（如 Nginx、Envoy），每个连接会占用内存和文件描述符。CCU 过高会导致连接超时、内存 OOM 或端口耗尽。

需要区分两类连接：

• 活跃连接（Active Connections）：正在处理请求的连接，直接消耗 CPU 和内存。
• 空闲连接（Idle Connections）：Keep-Alive 保持的空闲连接，主要消耗内存和文件句柄。

# Nginx Ingress 连接数 PromQL 示例
# 当前活跃连接数
nginx_ingress_controller_nginx_process_connections{state="active"}

# 当前空闲连接数
nginx_ingress_controller_nginx_process_connections{state="idle"}

# 总连接数（活跃 + 空闲）
sum(nginx_ingress_controller_nginx_process_connections) by (pod)

3.3 请求延迟（P99/P95）

延迟是容量规划的“软约束”。即使 QPS 和 CCU 都在范围内，如果延迟大幅增加，说明网关已进入过载状态。P99（99% 请求的延迟上限）和 P95（95% 请求的延迟上限）是最常用的尾延迟指标。

• P99：代表最差情况下的用户体验，通常用于 SLA 承诺。
• P95：代表大多数用户的体验，比 P99 更稳定，受极端值影响小。

# Nginx Ingress 延迟 PromQL（分位数）
# P99 延迟（毫秒）
histogram_quantile(0.99, 
  sum(rate(nginx_ingress_controller_request_duration_seconds_bucket[1m])) by (le))

# P95 延迟（毫秒）
histogram_quantile(0.95, 
  sum(rate(nginx_ingress_controller_request_duration_seconds_bucket[1m])) by (le))

3.4 错误率（5xx）

错误率是容量规划的“硬红线”。5xx 错误（服务端错误）直接表明网关或后端服务已无法正常处理请求。升级前必须建立 5xx 错误率的基线，并区分网关层错误与后端服务错误。

• 网关层 5xx：502 Bad Gateway（后端不可达）、503 Service Unavailable（限流/熔断）、504 Gateway Timeout（上游超时）。
• 后端服务 5xx：500 Internal Server Error（后端代码异常），通常由网关透传。

# 5xx 错误率 PromQL
# 网关层 5xx 占比
sum(rate(nginx_ingress_controller_requests{status=~"5.."}[1m])) 
/ 
sum(rate(nginx_ingress_controller_requests[1m])) * 100

# 按状态码细分
rate(nginx_ingress_controller_requests{status="502"}[1m])
rate(nginx_ingress_controller_requests{status="503"}[1m])
rate(nginx_ingress_controller_requests{status="504"}[1m])

3.5 指标采集与基线记录

升级前至少采集 7 天 的上述四类指标，记录每日峰值和 P99 值，形成基线表。以下是一个基线记录模板：

# 基线记录示例（JSON 格式）
{
  "cluster": "prod-eks-1",
  "gateway": "nginx-ingress",
  "采集周期": "2025-03-01 ~ 2025-03-07",
  "baseline": {
    "qps": {
      "peak": 12500,
      "avg": 7800,
      "单Pod上限": 3000
    },
    "ccu": {
      "active_peak": 4200,
      "idle_peak": 1800,
      "total_peak": 6000,
      "单Pod上限": 8000
    },
    "latency_ms": {
      "p50": 8,
      "p95": 35,
      "p99": 120
    },
    "error_rate_5xx": {
      "502": 0.03,
      "503": 0.01,
      "504": 0.02,
      "500": 0.15
    }
  },
  "升级前水位": "安全（均低于70%阈值）"
}