4. 延迟告警体系设计：告警分级、延迟容忍度、SLA/SLO 定义

在 PSI 监控与精算模型场景中，延迟告警体系是保障模型按时产出、避免业务决策滞后的核心防线。本章围绕告警分级、延迟容忍度计算以及 SLA/SLO 定义展开，建立一套可量化、可执行的延迟告警标准。

4.1 告警分级策略

根据延迟对业务的影响程度，将告警分为 P0~P3 四个等级，每个等级对应不同的响应时效与升级路径。

4.2 延迟容忍度计算模型

延迟容忍度并非固定值，而是基于模型运行时间窗口、下游依赖紧密度以及业务截止时间动态计算。容忍度公式如下：

容忍度 = min( 业务截止时间 - 模型预计完成时间, 下游依赖最大等待时间 ) × 安全系数

其中安全系数通常取 0.8，预留 20% 的缓冲余量。以下为典型场景的容忍度示例：

4.3 SLA/SLO 定义框架

SLA（服务等级协议）与 SLO（服务等级目标）是延迟告警体系的量化基准。SLO 是内部承诺，SLA 是对外契约。在 PSI 监控中，我们定义以下核心指标：

• 延迟 SLO：模型在容忍度内完成的比例，目标 ≥ 99.5%（月度统计）。
• 可用性 SLO：模型服务可正常调用的时间比例，目标 ≥ 99.9%（排除计划内维护）。
• 告警准确率 SLO：真实延迟告警占总告警的比例，目标 ≥ 95%。
• MTTR（平均修复时间）SLO：从告警触发到恢复的平均时间，P0 ≤ 30 分钟，P1 ≤ 60 分钟。

SLA 通常在 SLO 基础上增加 0.1%~0.5% 的缓冲，例如延迟 SLA 为 99.0%，低于内部 SLO 的 99.5%，为运营留出容错空间。

4.4 延迟告警分级流程图

下图展示了从延迟检测到告警分级的完整流程，包含容忍度计算、等级判定与通知路径。

4.5 SLO 监控与告警关系图

下图展示了 SLO 定义、监控采集与告警触发之间的数据流转关系，帮助理解从指标定义到告警动作的完整链路。

4.6 告警升级与降级规则

为避免告警风暴或遗漏，需定义明确的升级与降级机制：

• 升级条件：同一模型连续 3 个周期触发 P2 告警，自动升级为 P1；P1 持续超过 1 小时未恢复，升级为 P0。
• 降级条件：P0 告警恢复后，若 24 小时内无复发，自动降级为 P1；P1 恢复后 48 小时无复发，降级为 P2。
• 静默规则：计划内维护窗口（如模型版本更新）提前标记，期间延迟告警自动静默，不计入 SLO 统计。

4.7 延迟告警配置示例

以下为 Prometheus + Alertmanager 的延迟告警规则配置片段，展示如何将分级策略落地为可执行的告警规则：

groups:
  - name: psi_delay_alerts
    rules:
      - alert: PSI_Delay_P0
        expr: psi_model_delay_seconds{model="daily_actuary"} > 1800
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: "日终精算模型延迟超过30分钟"
          runbook_url: "https://runbook.internal/psi/p0"

      - alert: PSI_Delay_P1
        expr: psi_model_delay_seconds{model="daily_actuary"} > 900
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "日终精算模型延迟超过15分钟"

      - alert: PSI_Delay_P2
        expr: psi_model_delay_seconds{model="daily_actuary"} > 300
        for: 15m
        labels:
          severity: info
        annotations:
          summary: "日终精算模型延迟超过5分钟"