Kubernetes自愈场景测试：基于SLO的事件触发验证 - 第4节

4.1 Prometheus 整体架构与核心组件

Prometheus 是 Kubernetes 生态中最主流的监控与告警系统，其架构围绕“拉取（Pull）指标、本地存储、规则评估、告警分发”四个核心环节设计。理解其组件关系是编写告警规则和配置 Alertmanager 的前提。

4.2 告警规则编写：从指标到告警事件

告警规则是 Prometheus 评估逻辑的核心载体。每条规则定义一组 PromQL 表达式、持续时间和标签。当表达式返回非空结果且满足持续时间条件时，规则进入 Pending 状态，持续满足后转为 Firing 状态并推送至 Alertmanager。

4.2.1 规则文件结构

groups:
  - name: kubernetes-pods
    interval: 30s
    rules:
      - alert: PodCrashLoopBackOff
        expr: kube_pod_status_phase{phase="Waiting"} == 1
        for: 2m
        labels:
          severity: critical
        annotations:
          summary: "Pod {{ $labels.namespace }}/{{ $labels.pod }} 处于 CrashLoopBackOff"
          description: "Pod 已持续 CrashLoopBackOff 超过 2 分钟，请立即排查。"

4.2.2 常用自愈场景告警规则示例

• Pod 状态异常：kube_pod_status_phase{phase=~"Pending|Unknown|Failed"} == 1
• Pod 重启次数过高：rate(kube_pod_container_status_restarts_total[5m]) > 0.5
• 节点不可用：kube_node_status_condition{condition="Ready",status="true"} == 0
• PVC 使用率超过阈值：kubelet_volume_stats_used_bytes / kubelet_volume_stats_capacity_bytes > 0.9
• HTTP 错误率过高：sum(rate(http_requests_total{status=~"5.."}[5m])) / sum(rate(http_requests_total[5m])) > 0.05

4.3 Alertmanager 配置：路由、分组与通知

Alertmanager 负责接收 Prometheus 推送的告警，执行去重、分组、静默和路由，最终将通知发送到指定渠道。配置核心在于 route 和 receivers 两部分。

4.3.1 配置结构总览

route:
  receiver: 'default-receiver'
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  routes:
    - match:
        severity: critical
      receiver: 'pagerduty-critical'
      continue: false

receivers:
  - name: 'default-receiver'
    email_configs:
      - to: 'ops@example.com'
  - name: 'pagerduty-critical'
    pagerduty_configs:
      - routing_key: 'your-pagerduty-key'

4.3.2 分组与抑制策略

• 分组（Grouping）：将相同标签（如 alertname、namespace）的告警合并为一条通知，避免告警风暴。通过 group_by: ['alertname', 'namespace'] 配置。
• 抑制（Inhibition）：当高等级告警（如节点宕机）触发时，自动抑制其衍生告警（如该节点上的 Pod 异常）。通过 inhibit_rules 配置。
• 静默（Silence）：在维护窗口期，通过 Alertmanager UI 或 API 创建静默规则，屏蔽特定标签的告警。

4.4 自愈场景中的告警配置最佳实践

• 标签标准化：所有告警规则统一使用 severity（critical / warning / info）、team、namespace 标签，便于 Alertmanager 路由和分组。
• 避免告警风暴：合理设置 group_interval 和 repeat_interval，对 critical 级别告警使用更短的重复间隔（如 1h），对 warning 使用更长间隔（如 6h）。
• 自愈联动：在告警 annotations 中携带自愈 Action 的 Webhook URL 或 Runbook 链接，便于自动化触发修复流程。
• 测试验证：使用 amtool 命令行工具或 Alertmanager UI 的“测试告警”功能，验证路由和通知配置是否正确。