3. PSI 阈值设定与分级告警
PSI(Population Stability Index,群体稳定性指标)是衡量特征分布随时间偏移程度的核心量化工具。在风控规则引擎中,PSI 阈值直接决定告警的灵敏度与误报率。本章将系统阐述行业通用阈值标准、漂移分级体系以及对应的告警级别定义,帮助运维与风控团队建立统一的监控判据。
3.1 行业通用阈值标准
根据金融风控与模型监控的长期实践,PSI 阈值通常划分为三个等级,对应不同的分布偏移程度。下表汇总了行业通用的阈值区间与业务含义:
| PSI 区间 | 偏移程度 | 业务含义 | 建议动作 |
|---|---|---|---|
| [0, 0.1) | 无显著偏移 | 特征分布基本稳定,模型或规则可正常使用 | 无需干预,仅记录日志 |
| [0.1, 0.2) | 轻度偏移 | 分布出现可察觉变化,需关注但不影响决策 | 触发低级别告警,人工复核 |
| [0.2, 0.25) | 中度偏移 | 分布变化明显,可能影响规则效果 | 触发中级别告警,启动分析流程 |
| ≥ 0.25 | 重度偏移 | 分布发生结构性改变,规则失效风险高 | 触发高级别告警,立即介入并考虑回滚 |
阈值选择提示: 0.1、0.2、0.25 是行业基准值。实际部署时可根据特征重要性、样本量、业务容忍度进行微调。例如,核心风控特征可收紧至 0.08/0.15/0.2,低频辅助特征可放宽至 0.15/0.25/0.3。
3.2 漂移分级体系
基于上述阈值,我们将 PSI 漂移划分为三个明确的分级:轻度漂移、中度漂移、重度漂移。每个分级对应不同的监控响应策略与升级路径。
- 轻度漂移(0.1 ≤ PSI < 0.2)
- 特征:分布尾部或局部区间出现微小变化,整体结构未变。
- 响应:记录事件、发送通知邮件或 IM 消息,由值班人员确认。
- 升级条件:连续 3 个监控周期均处于该区间,自动升级为中度。
- 中度漂移(0.2 ≤ PSI < 0.25)
- 特征:分布中心或主要区间发生偏移,规则命中率可能波动。
- 响应:触发工单系统,要求特征负责人 24 小时内提交分析报告。
- 升级条件:单次 PSI 超过 0.25 或连续 2 个周期处于中度,自动升级为重度。
- 重度漂移(PSI ≥ 0.25)
- 特征:分布结构改变,历史数据与当前数据不再同分布。
- 响应:立即触发 P0 级告警,通知风控负责人与 SRE 值班组长,启动应急回滚或特征切换流程。
- 升级条件:无进一步升级,直接进入应急处理。
分级核心原则: 轻度可观察、中度需分析、重度必干预。分级的目的不是增加告警数量,而是让不同角色在正确的时间关注正确的问题。
3.3 告警级别定义
告警级别与漂移分级一一对应,但需额外考虑告警的重复抑制、聚合与通知方式。下表定义了三个告警级别的关键属性:
| 告警级别 | 对应漂移 | 通知方式 | 响应时限 | 升级路径 |
|---|---|---|---|---|
| WARN(警告) | 轻度漂移 | 邮件 + 企业微信/钉钉机器人 | 24 小时内确认 | 连续 3 次 → MINOR |
| MINOR(次要) | 中度漂移 | 电话 + 短信 + 即时消息 | 4 小时内响应 | 超时或恶化 → CRITICAL |
| CRITICAL(严重) | 重度漂移 | 电话 + 短信 + 即时消息 + 值班组长 | 立即响应(15 分钟内) | 无,直接应急 |
告警风暴防范: 所有告警级别必须配置聚合规则。例如,同一特征在 1 小时内触发多次 WARN,只发送一条聚合消息;CRITICAL 级别不做聚合,但需设置 5 分钟内的重复抑制窗口,避免同一事件重复拨打值班电话。
3.4 PSI 分级告警流程(SVG)
下图展示了从 PSI 计算到告警分级的完整流程,包含阈值判断、分级路由与升级路径:
3.5 阈值动态调整策略
固定阈值无法适应所有场景。建议在规则引擎中引入动态调整机制,根据历史基线自动校准阈值:
- 基于时间窗口的基线:以最近 7 天或 30 天的 PSI 均值为基准,阈值 = 基准值 × 倍数因子(如 1.5×)。
- 特征重要性加权:核心特征(如收入、负债率)使用更严格的倍数因子(1.2×),辅助特征使用宽松因子(2.0×)。
- 业务周期感知:在营销大促、节假日等特殊时段,自动放宽阈值 20%~30%,避免因业务波动产生大量误报。
最佳实践: 初始部署时使用行业通用阈值(0.1/0.2/0.25),运行 2~4 周后根据实际告警率与误报率进行校准。目标告警率建议控制在:WARN 级别每周不超过 5 次,MINOR 级别每周不超过 2 次,CRITICAL 级别每月不超过 1 次。
3.6 分级告警配置示例(代码)
以下是一个基于 YAML 的 PSI 告警配置片段,展示了阈值、分级、通知方式与升级规则的定义方式:
# psi_alert_config.yaml
psi_monitor:
features:
- name: "income_level"
importance: "core"
thresholds:
warn: 0.10
minor: 0.20
critical: 0.25
alert:
warn:
channels: ["email", "im"]
response_time: "24h"
aggregation_window: "1h"
minor:
channels: ["phone", "sms", "im"]
response_time: "4h"
aggregation_window: "30m"
critical:
channels: ["phone", "sms", "im", "oncall"]
response_time: "15m"
aggregation_window: "5m"
escalation:
warn_to_minor: 3 # 连续3次WARN升级为MINOR
minor_to_critical: 2 # 连续2次MINOR升级为CRITICAL
配置要点: 每个特征独立配置阈值与升级规则。核心特征建议关闭自动升级,由人工确认后再调整;辅助特征可开启自动升级,减少人工介入成本。