4. 资源漂移告警定义：什么是资源漂移、漂移的常见模式与告警触发条件

在云原生环境中，资源漂移是指工作负载（Pod/Container）的资源使用量（CPU、内存）在时间序列上偏离其历史基线或静态配置期望值的现象。这种偏离并非一次性故障，而是持续、动态的波动，导致资源利用率失衡——要么过度分配造成浪费，要么分配不足引发性能风险。

4.1 资源漂移的核心特征

4.2 漂移的常见模式

根据生产环境经验，资源漂移主要归纳为以下三种模式。理解这些模式是定义告警触发条件的前提。

模式一：CPU/内存突发型漂移

工作负载在短时间内（秒级到分钟级）出现远高于基线的资源使用峰值，随后回落。常见于批处理任务、定时 Job、流量突增场景。

• 特征：峰值/基线比 > 2.0，持续时间短于 5 分钟。
• 风险：若 Request 按峰值设置，则大部分时间资源浪费；若按基线设置，则可能触发 OOMKill 或 CPU Throttle。

模式二：周期性波动漂移

资源使用量呈现规律性的波峰波谷，周期通常为小时级或天级。常见于在线业务、定时报表、日间/夜间差异明显的服务。

• 特征：自相关函数在固定滞后点出现显著峰值，波动幅度稳定。
• 风险：静态 Request 无法同时覆盖波峰和波谷，导致波谷浪费或波峰不足。

模式三：阶梯式漂移

资源使用量在某个时间点后永久性地迁移到新的水平，不再回归原基线。常见于版本发布、数据量增长、业务模型变更。

• 特征：突变点前后均值差异显著（>30%），且新基线稳定。
• 风险：旧 VPA 推荐值失效，需触发重新学习和调整。

4.3 漂移模式对比表

4.4 告警触发条件定义

告警触发条件需要同时考虑漂移幅度和漂移持续时间，避免因瞬时抖动产生误报。以下为推荐的生产级告警规则模板：

# 告警规则示例（Prometheus + Alertmanager 风格）
groups:
  - name: resource_drift_alerts
    rules:
      # 规则1：CPU 突发型漂移
      - alert: CPUBurstDrift
        expr: |
          (rate(container_cpu_usage_seconds_total[5m]) 
           / avg_over_time(rate(container_cpu_usage_seconds_total[5m])[7d:5m])) 
          > 2.0
        for: 3m
        labels:
          severity: warning
        annotations:
          summary: "CPU 突发漂移 ({{ $labels.pod }})"

      # 规则2：内存周期性波动漂移
      - alert: MemoryPeriodicDrift
        expr: |
          (container_memory_working_set_bytes 
           / avg_over_time(container_memory_working_set_bytes[7d:5m])) 
          > 1.5
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "内存周期性波动漂移 ({{ $labels.pod }})"

      # 规则3：阶梯式漂移（均值突变检测）
      - alert: StepDriftDetected
        expr: |
          abs(
            avg_over_time(container_memory_working_set_bytes[1h]) 
            - avg_over_time(container_memory_working_set_bytes[24h] offset 1d)
          ) / avg_over_time(container_memory_working_set_bytes[24h] offset 1d) 
          > 0.3
        for: 30m
        labels:
          severity: critical
        annotations:
          summary: "阶梯式资源漂移 ({{ $labels.pod }})"

4.5 资源漂移告警触发流程

下图展示了从指标采集到告警触发的完整链路，以及 VPA 复测流程的入口位置。

4.6 告警触发条件总结清单

• 幅度条件：当前资源使用量相对于历史基线（7天滑动窗口 P99 或均值）的偏离比例超过阈值。
• 时间条件：偏离状态持续超过设定的持续时间（突发型 3 分钟，周期型 10 分钟，阶梯型 30 分钟）。
• 模式识别：通过自相关分析或突变检测算法区分漂移模式，避免统一阈值误判。
• 排除条件：排除已知的版本发布窗口、运维操作窗口，防止变更期间的正常波动触发告警。