3. 阈值漂移现象
3.1 什么是阈值漂移
在图谱监控体系中,阈值漂移是指模型或规则在运行过程中,其输出分数的分布发生系统性变化,导致原本设定的判定边界(阈值)不再适用于当前数据分布的现象。简单来说,就是“过去的门槛,挡不住现在的数据”。
阈值漂移的直接后果是:
- 误报率上升:原本正常的样本越过阈值,被错误标记为异常。
- 漏报率上升:原本异常的样本被阈值挡在门外,未被识别。
- PSI 指标恶化:分布稳定性指数(PSI)持续升高,触发预警。
核心判断标准:当 PSI > 0.25 时,通常认为发生了显著的阈值漂移,需要立即进行根因分析。
3.2 阈值漂移的常见原因
阈值漂移并非随机发生,其背后通常有明确的驱动因素。根据图谱监控的实践经验,主要原因可归纳为以下三类:
| 原因类别 | 具体描述 | 典型场景 | PSI 影响特征 |
|---|---|---|---|
| 数据分布变化 | 输入数据的统计特征(均值、方差、偏度)发生系统性改变 | 用户群体迁移、季节性波动、数据采集方式变更 | PSI 缓慢持续上升,通常 > 0.1 |
| 模型老化 | 模型参数与当前环境不再适配,预测能力随时间衰减 | 长期未更新的图谱模型、对抗样本攻击 | PSI 加速上升,常伴随 AUC 下降 |
| 业务规则变更 | 人为调整业务逻辑、风控策略或标签定义 | 新政策上线、评分卡重构、异常定义修改 | PSI 在规则生效日出现阶跃式跳变 |
实战经验:在金融风控图谱中,超过 60% 的阈值漂移事件由“数据分布变化”引起,其中用户行为模式随经济周期的波动是最常见的诱因。
3.3 三类原因的详细分析
3.3.1 数据分布变化
数据分布变化是阈值漂移最普遍的来源。当图谱模型的输入特征(如节点属性、边权重、子图结构)的分布发生偏移时,模型输出的分数分布也会随之改变。
- 协变量漂移:输入特征 P(X) 变化,但条件分布 P(Y|X) 不变。例如,用户年龄分布从 25-35 岁变为 35-45 岁。
- 概念漂移:条件分布 P(Y|X) 变化,即同样的特征对应不同的标签。例如,同样的交易行为在淡季是正常,在旺季可能是异常。
- 先验概率漂移:标签分布 P(Y) 变化。例如,整体异常率从 1% 上升到 5%。
3.3.2 模型老化
模型老化是指模型在部署后,由于环境变化导致其判别能力逐渐下降。在图谱模型中,老化表现为:
- 结构模式过时:模型学到的子图模式(如欺诈团伙的环状结构)不再适用于新的欺诈手法。
- 参数衰减:模型权重未更新,导致对当前数据的拟合度降低。
- 对抗适应:恶意用户针对模型规则进行规避,使得原有阈值失效。
3.3.3 业务规则变更
业务规则变更是人为因素导致的阈值漂移,通常具有明确的生效时间点。常见变更包括:
- 阈值调整:风控部门手动上调或下调判定阈值。
- 特征替换:用新的图谱特征(如二阶邻居密度)替换旧特征。
- 标签重定义:修改“异常”样本的判定标准,导致训练标签分布变化。
3.4 阈值漂移的识别方法
在实际监控中,可以通过以下指标组合来识别阈值漂移:
- PSI 趋势监控:连续 3 个监控周期 PSI > 0.1,提示轻度漂移;PSI > 0.25 提示严重漂移。
- 阈值命中率变化:阈值命中率(越过阈值的样本比例)出现超过 20% 的波动。
- 分布对比检验:使用 KS 检验或 KL 散度对比训练集与当前批次的分数分布。
注意:阈值漂移并不总是负面的。如果业务规则变更是有意的优化(如收紧风控标准),则 PSI 升高可能是预期行为。此时应结合业务目标判断是否需要调整阈值,而非盲目回滚。