3、模型监控基础：模型监控的必要性、常见监控指标（KS、AUC、PSI）、监控频率与阈值设定
在催收触达模型上线后，模型监控是确保其长期稳定运行的核心环节。模型在开发阶段基于历史数据训练，但实际业务环境中的客群分布、还款行为、政策变化等因素会持续演变，导致模型预测能力衰减。若不进行持续监控，模型失效将直接引发催收策略误判、资源浪费和回款率下降。
3.1 模型监控的必要性
模型监控的核心目标在于：及时发现性能衰退、量化衰退程度、触发告警并驱动模型迭代。具体必要性体现在以下四个方面：
- 客群偏移（Population Drift）： 新进件客群与建模样本的分布不一致，导致评分分布整体偏移。
- 特征失效（Feature Decay）： 原始建模特征（如近3个月催收次数）因业务规则变更而失去区分能力。
- 业务环境变化： 宏观经济、监管政策、催收策略调整均会改变模型输入与输出的关系。
- 合规与审计要求： 金融机构需向监管证明模型持续有效，监控记录是必备材料。
关键认知： 模型监控不是“可选项”，而是模型生命周期管理的“必选项”。未建立监控体系的模型，在失效后平均需要2-3个月才能被发现，期间造成的坏账损失不可估量。
3.2 常见监控指标：KS、AUC、PSI
催收触达模型常用的监控指标分为区分度指标（KS、AUC）和稳定性指标（PSI）。三者从不同维度评估模型状态，缺一不可。
| 指标 | 全称 | 衡量维度 | 取值范围 | 理想值 | 告警阈值（参考） |
|---|---|---|---|---|---|
| KS | Kolmogorov-Smirnov | 区分度（好坏样本最大差距） | [0, 1] | 0.2 ~ 0.5 | < 0.15 或 > 0.6 |
| AUC | Area Under ROC Curve | 区分度（整体排序能力） | [0.5, 1] | 0.7 ~ 0.85 | < 0.65 |
| PSI | Population Stability Index | 稳定性（评分分布偏移程度） | [0, +∞) | < 0.1 | > 0.25 |
3.2.1 KS（Kolmogorov-Smirnov）
KS 统计量衡量模型对“好客户”与“坏客户”的最大区分能力。计算方式为：按模型评分从低到高排序，分别计算好坏样本的累计分布函数（CDF），取两者最大差值。KS 值越高，模型区分好坏的能力越强，但过高（如 > 0.6）可能暗示过拟合或特征泄露。
3.2.2 AUC（Area Under ROC Curve）
AUC 是 ROC 曲线下的面积，反映模型对好坏样本的整体排序能力。AUC = 0.5 表示模型无区分能力（随机猜测），AUC = 1 表示完美区分。在催收场景中，AUC 通常介于 0.7~0.85 之间，低于 0.65 需立即排查。
3.2.3 PSI（Population Stability Index）
PSI 用于衡量模型评分分布在“建模样本”与“监控样本”之间的偏移程度。计算公式为：
PSI = Σ ( (P_i - Q_i) * ln(P_i / Q_i) )其中 P_i 为监控样本在第 i 个分数区间的占比，Q_i 为建模样本在第 i 个分数区间的占比。PSI < 0.1 表示分布稳定；0.1 ~ 0.25 表示轻度偏移，需关注；> 0.25 表示严重偏移，必须触发告警并启动模型重训。
实践建议： 在催收触达模型中，PSI 应作为首要监控指标。因为催收客群受季节性、政策、催收策略调整影响极大，评分分布偏移往往先于区分度下降出现。建议将 PSI 监控频率设为每日，KS 和 AUC 设为每周。
3.3 监控频率与阈值设定
监控频率和阈值设定需结合催收业务特点、模型使用场景和数据更新节奏。以下为推荐配置：
| 监控指标 | 推荐监控频率 | 正常区间 | 关注区间 | 告警区间 | 告警后动作 |
|---|---|---|---|---|---|
| PSI | 每日 | < 0.1 | 0.1 ~ 0.25 | > 0.25 | 触发黄色告警，排查特征分布 |
| KS | 每周 | 0.2 ~ 0.5 | 0.15 ~ 0.2 或 0.5 ~ 0.6 | < 0.15 或 > 0.6 | 触发橙色告警，检查区分度 |
| AUC | 每周 | 0.7 ~ 0.85 | 0.65 ~ 0.7 | < 0.65 | 触发红色告警，启动模型重训 |
3.3.1 阈值设定原则
- PSI 阈值： 催收场景建议采用 0.1（关注）/ 0.25（告警） 双阈值。因为催收客群波动大，0.1 以下可视为正常波动，0.1~0.25 需分析原因，0.25 以上必须干预。
- KS 阈值： 催收模型 KS 通常低于信贷审批模型（0.3~0.5 为佳）。若 KS 突然下降至 0.15 以下，说明模型已基本丧失区分能力；若 KS 异常升高至 0.6 以上，需排查是否引入未来信息或特征泄露。
- AUC 阈值： 以建模时的 AUC 为基准，允许下降幅度不超过 0.05。若 AUC 从 0.78 降至 0.65，即使仍在 0.65 以上，也应触发预警。
常见误区： 不要只设置单一阈值。催收场景中，PSI 在 0.1~0.25 区间时，模型区分度可能仍然正常，但若忽视此信号，后续 PSI 可能快速恶化至 0.3 以上。建议采用双阈值 + 趋势监控策略：当 PSI 连续 3 天超过 0.1 且呈上升趋势时，即使未达到 0.25，也应提前介入分析。
3.3.2 监控频率调整策略
监控频率并非一成不变，应根据模型生命周期阶段动态调整：
- 模型上线初期（前 1 个月）： 每日监控 PSI、KS、AUC，快速发现上线后偏移。
- 稳定运行期（1~6 个月）： PSI 每日监控，KS/AUC 每周监控。
- 长期运行期（6 个月以上）： 若模型持续稳定，可适当降低频率（PSI 每周，KS/AUC 每两周），但需保留趋势图。
- 业务变更期（策略调整、新客群引入）： 恢复每日监控，持续至少 2 周。
3.4 监控看板设计要点
在《催收触达模型看板》中，PSI 与告警联动机制需要直观呈现。看板应包含以下核心模块：
- PSI 趋势图： 展示近 30/90 天 PSI 日变化曲线，叠加 0.1 和 0.25 两条阈值线。
- KS/AUC 趋势图： 展示近 12 周 KS 和 AUC 周变化曲线，叠加建模基准线。
- 告警事件列表： 按时间倒序展示所有告警记录，包含指标名称、当前值、阈值、触发时间、处理状态。
- 评分分布对比图： 将当前月评分分布与建模样本分布叠加展示，直观呈现偏移区域。
看板最佳实践： 将 PSI 趋势图置于看板最上方，因为 PSI 是“早期预警指标”。当 PSI 超过 0.1 时，看板应自动高亮该区域，并推送告警至风控团队企业微信或邮件。联动机制的核心是：PSI 触发关注 → 自动调取 KS/AUC 数据 → 综合判断是否需要重训。