4. 错误（Errors）指标设计：HTTP错误率、应用层错误码、容器重启错误、Pod CrashLoopBackOff监控

错误（Errors）是Golden Signals中直接反映服务质量受损的维度。在容器化环境中，错误的来源从传统的HTTP 5xx扩展到了容器运行时、编排调度和健康检查等多个层面。本节将围绕四个核心错误指标展开：HTTP错误率、应用层错误码、容器重启错误以及Pod CrashLoopBackOff监控，并给出具体的参数配置与告警阈值。

4.1 HTTP错误率：从5xx到4xx的精细化监控

传统监控通常只关注5xx服务端错误，但在微服务架构中，4xx客户端错误同样需要纳入考量——高比例的4xx可能意味着上游服务传递了错误参数或认证失效。

4.2 应用层错误码：业务逻辑的“隐形故障”

HTTP 200并不代表业务成功。应用层错误码（如JSON响应中的 code: 10001）是发现业务逻辑错误的唯一手段。在容器化环境中，这些错误码需要作为自定义指标暴露。

• 指标命名规范： app_business_errors_total{service="order", error_code="10001"}
• 暴露方式： 通过Prometheus Client SDK在应用内埋点，或通过Sidecar代理（如Envoy ext_authz）统一捕获。
• 告警策略： 对非预期错误码（如数据库写入失败、库存不足）设置 rate ≥ 0.1/s 的即时告警；对预期错误码（如参数校验失败）设置 rate ≥ 10/s 的慢速告警。

4.3 容器重启错误：CrashLoopBackOff的根因分析

容器重启是Kubernetes中最常见的错误信号之一。一个Pod进入CrashLoopBackOff状态意味着容器反复启动后立即崩溃，且重启间隔呈指数退避。监控此指标需要区分“正常重启”（如滚动更新）与“异常重启”。

# Prometheus查询：计算最近10分钟内重启次数超过3次的Pod
count by (namespace, pod) (
  kube_pod_container_status_restarts_total
  - kube_pod_container_status_restarts_total offset 10m
) > 3

4.4 Pod CrashLoopBackOff监控：从检测到自愈

CrashLoopBackOff是Kubernetes特有的错误状态，直接反映Pod无法正常运行。监控此状态需要结合事件、重启次数和Pod状态进行多维度判断。

4.5 错误指标参数配置清单

以下为容器化环境中错误指标的推荐Prometheus Recording Rules与Alertmanager配置，可直接用于生产环境。

# Prometheus Recording Rules
groups:
  - name: errors_recording_rules
    rules:
      - record: job:http_errors_5xx:ratio_rate5m
        expr: |
          sum(rate(http_requests_total{status=~"5.."}[5m])) by (job, namespace)
          /
          sum(rate(http_requests_total[5m])) by (job, namespace)
      - record: pod:restart_rate_15m
        expr: |
          increase(kube_pod_container_status_restarts_total[15m])

# Alertmanager 告警规则
groups:
  - name: errors_alerts
    rules:
      - alert: HighHttp5xxRate
        expr: job:http_errors_5xx:ratio_rate5m > 0.01
        for: 3m
        labels:
          severity: critical
        annotations:
          summary: "{{ $labels.job }} HTTP 5xx 错误率超过1%"
      - alert: PodCrashLoopBackOff
        expr: |
          max by (namespace, pod) (
            kube_pod_container_status_waiting_reason{reason="CrashLoopBackOff"}
          ) == 1
        for: 2m
        labels:
          severity: warning
        annotations:
          summary: "Pod {{ $labels.pod }} 处于 CrashLoopBackOff 状态"

4.6 错误指标与SLO的联动

错误指标是计算SLO（服务等级目标）的核心输入。在容器化环境中，建议将错误预算（Error Budget）与告警阈值绑定：当错误消耗超过月度预算的5%时，触发警告；超过10%时，触发严重告警并冻结发布。