4、漂移告警与监控：Prometheus告警规则配置与Grafana仪表盘设计

存储版本漂移的发现不能依赖人工巡检，必须建立实时告警与可视化监控体系。本节聚焦 Prometheus 告警规则（针对 kube_persistentvolume_status_phase 和 csi_volume_stats 指标）以及 Grafana 仪表盘设计，同时覆盖日志关键字（version mismatch、incompatible）的聚合告警配置。

4.1 核心监控指标与告警规则

以下表格列出存储版本漂移场景下必须监控的 Prometheus 指标及其告警触发条件：

4.1.1 Prometheus 告警规则配置示例

将以下规则保存至 storage-version-drift-alerts.yaml，并通过 Prometheus Operator 的 PrometheusRule CRD 加载：

groups:
- name: storage_version_drift
  interval: 30s
  rules:
  - alert: PVPhaseNotBound
    expr: |
      kube_persistentvolume_status_phase{phase!="Bound"} > 0
    for: 5m
    labels:
      severity: critical
    annotations:
      summary: "PV {{ $labels.persistentvolume }} 状态异常"
      description: "PV 当前状态为 {{ $labels.phase }}，可能由存储版本漂移引起。"

  - alert: CSIVolumeConditionAbnormal
    expr: |
      csi_volume_stats{volume_condition="1"} > 0
    for: 2m
    labels:
      severity: critical
    annotations:
      summary: "CSI 卷 {{ $labels.volume_handle }} 健康状态异常"
      description: "CSI 卷条件异常，建议检查 CSI 驱动版本一致性。"

  - alert: CSISidecarVersionMismatch
    expr: |
      csi_sidecar_version_info{version!="v3.5.0"} > 0
    for: 1m
    labels:
      severity: warning
    annotations:
      summary: "CSI sidecar 版本不匹配"
      description: "检测到 CSI sidecar 版本 {{ $labels.version }}，预期版本为 v3.5.0。"

4.2 日志关键字告警配置

存储版本漂移在日志中常出现以下关键字，需通过 Loki 或 Elasticsearch 配置聚合告警：

• version mismatch — CSI 驱动与 sidecar 版本不一致，或 kubelet 与 CSI 驱动版本不兼容。
• incompatible — 存储后端 API 版本不匹配，或卷挂载参数不兼容。
• unsupported volume mode — 版本漂移导致卷模式（Filesystem/Block）不被识别。

以下为 Loki 日志告警规则示例（RecordedRule 格式）：

groups:
- name: storage_log_alerts
  rules:
  - alert: StorageVersionMismatchLog
    expr: |
      count_over_time(
        {namespace=~"kube-system|storage-.*"}
          |= "version mismatch"
          [5m]
      ) > 0
    for: 1m
    labels:
      severity: critical
    annotations:
      summary: "检测到存储版本不匹配日志"
      description: "在命名空间 {{ $labels.namespace }} 的 Pod {{ $labels.pod }} 中发现 version mismatch 日志。"

  - alert: StorageIncompatibleLog
    expr: |
      count_over_time(
        {namespace=~"kube-system|storage-.*"}
          |= "incompatible"
          [5m]
      ) > 0
    for: 1m
    labels:
      severity: critical
    annotations:
      summary: "检测到存储不兼容日志"
      description: "发现 incompatible 日志，可能由 CSI 驱动版本漂移引起。"

4.3 Grafana 仪表盘设计

仪表盘应包含以下核心面板，用于快速定位存储版本漂移：

4.4 告警与监控架构图

下图展示从指标采集到告警通知的完整链路，重点突出存储版本漂移的监控路径：

4.5 告警响应与证据留存

当告警触发时，运维人员应按照以下步骤响应并留存证据：

1. 确认告警真实性 — 在 Grafana 仪表盘查看 PV 状态分布和 CSI 卷健康面板，确认是否存在多个 PV 同时异常。
2. 收集版本信息 — 执行 kubectl get csidriver -o yaml 和 kubectl describe csinode 获取当前 CSI 驱动版本。
3. 比对预期版本 — 对照集群部署文档或 Helm values 文件，确认是否存在版本漂移。
4. 留存日志快照 — 使用 kubectl logs -n kube-system <csi-controller-pod> --tail=500 > csi-controller-$(date +%Y%m%d%H%M).log 保存日志。
5. 记录告警时间线 — 在告警管理平台（如 PagerDuty）或内部 Wiki 中记录告警触发时间、影响范围、初步诊断结论。

通过上述告警规则、仪表盘和日志监控的配置，团队可以在存储版本漂移发生的数分钟内发现异常，并留存完整的排障证据链，为后续的节点排空和版本校准提供可靠依据。