4. 告警阈值概念：阈值的定义、静态阈值 vs 动态阈值、阈值在监控系统中的角色
告警阈值是模型监控系统的“触发开关”。它定义了一个边界值，当模型性能指标（如 KS、PSI、AUC）或业务指标（如通过率、坏账率）越过该边界时，系统自动产生告警通知。没有合理的阈值设定，监控系统要么“静默失明”，要么“噪音不断”。
4.1 阈值的定义与核心要素
阈值本质上是一个判定规则，由三个要素构成：
- 监控指标：被测量的对象，如模型区分度（KS）、稳定性（PSI）、准确率（Accuracy）。
- 边界值：触发告警的具体数值或范围，如 PSI > 0.1。
- 持续条件：指标越过边界后需持续多久才触发告警，如连续 3 个监控周期均超标。
💡 实践要点：阈值不是“拍脑袋”定的。通常基于模型开发时的验证集表现、上线初期的基线数据、以及业务可接受的风险损失来综合设定。建议先设置较宽松的阈值，运行 1-2 个完整监控周期后再逐步收紧。
4.2 静态阈值 vs 动态阈值
根据阈值是否随时间或数据分布变化，可将其分为两大类。下表从多个维度对比了二者的差异：
| 对比维度 | 静态阈值 | 动态阈值 |
|---|---|---|
| 定义方式 | 固定数值，不随时间变化 | 基于历史数据或统计分布自动计算，随时间自适应 |
| 典型例子 | PSI > 0.25 告警 | PSI > 均值 + 3 倍标准差 告警 |
| 适用场景 | 业务含义明确、容忍度固定的指标 | 指标波动大、无固定业务边界的场景 |
| 优点 | 简单、直观、易于解释 | 适应数据漂移、减少误报 |
| 缺点 | 无法适应环境变化，易产生误报或漏报 | 计算复杂，需要足够的历史数据 |
| 维护成本 | 低，设定后几乎无需调整 | 中高，需定期更新基线 |
下图展示了静态阈值与动态阈值在监控时间序列上的行为差异：
4.3 阈值在监控系统中的角色
阈值是监控系统的“神经末梢”，它决定了告警的灵敏度和准确性。在完整的监控链路中，阈值承担着以下关键角色：
- 信号过滤层：将海量的指标数据转化为有限的告警事件，避免信息过载。
- 风险量化器：将模型性能的“好坏”转化为可操作的数值边界，如“PSI > 0.25 表示模型已发生显著漂移”。
- 联动触发器：阈值告警是后续动作（如模型回退、人工审核、重训练）的启动信号。
- 监控闭环的反馈节点：通过分析告警的误报/漏报率，反向优化阈值设定。
📌 关键认知：阈值不是孤立存在的。它必须与告警级别（P0/P1/P2）、通知渠道（短信/邮件/钉钉）、以及处置流程（自动/手动）联动，才能形成完整的监控闭环。一个“只告警不处置”的阈值设定，本质上等于没有监控。
4.4 阈值设定的常见方法
下表总结了三种主流的阈值设定方法及其适用场景：
| 方法 | 原理 | 适用指标 | 示例 |
|---|---|---|---|
| 业务容忍度法 | 基于业务可接受的最大损失或偏差 | 坏账率、通过率、逾期率 | 坏账率 > 3% 告警 |
| 统计分布法 | 基于历史数据的均值与标准差 | PSI、KS、AUC | PSI > μ + 3σ 告警 |
| 分位数法 | 基于历史数据的分位数（如 P95、P99） | 响应时间、拒绝率 | 拒绝率 > P99 告警 |
⚠️ 避坑提示：不要同时使用多个高度相关的指标（如 KS 和 AUC）设置相同级别的告警，否则会导致告警风暴。建议为每个指标分配不同的告警级别，或设置“与/或”逻辑来合并触发条件。
4.5 阈值联动示例：从指标到告警的完整链路
下图展示了阈值在监控系统中的完整联动流程：
4.6 阈值设定的避坑清单
- ❌ 阈值过紧：导致大量误报，监控团队产生“告警疲劳”，最终忽略真正的问题。
- ❌ 阈值过松：导致漏报，模型已严重漂移却未触发任何告警。
- ❌ 静态阈值一劳永逸：业务环境和数据分布会变化，阈值需要定期复审和调整。
- ❌ 忽略持续条件：单次偶发波动不应触发告警，应设置“连续 N 次超标”或“M 分钟内超标 K 次”的条件。
- ❌ 阈值与告警级别脱节：所有指标使用同一告警级别，导致重要告警被淹没在噪音中。