📚 课程目录第3章模型监控指标体系

模型监控指标体系：稳定性、区分度、校准度与业务指标

模型上线后，监控体系需要覆盖四个核心维度：稳定性（模型行为是否随时间漂移）、区分度（排序能力是否衰减）、校准度（预测概率是否准确）、业务指标（最终业务效果是否达标）。本章逐一拆解每个维度的核心指标、计算逻辑与监控阈值。

稳定性衡量模型评分分布随时间的变化程度。最常用的指标是 PSI（Population Stability Index），此外还有特征级别的 CSI（Characteristic Stability Index）。

指标	计算对象	计算公式	监控频率	阈值参考
PSI	模型评分（Score）	∑(实际占比 - 预期占比) × ln(实际占比 / 预期占比)	周/月	< 0.1：无漂移；0.1~0.25：轻度漂移；> 0.25：严重漂移
CSI	单个特征	同PSI公式，但按特征分箱计算	周/月	< 0.1：稳定；0.1~0.2：需关注；> 0.2：特征漂移

PSI 计算要点：分箱数量建议 10~20 箱，每箱样本量不低于总样本的 5%。若某箱占比为 0，需做平滑处理（如加 0.5 或使用拉普拉斯平滑），避免 ln(0) 导致计算异常。

实战案例：某信贷模型上线后第 3 周 PSI 从 0.08 升至 0.31，排查发现用户年龄分布偏移——新客群中 18~25 岁占比从 15% 升至 32%。通过 CSI 定位到“年龄”特征贡献了 60% 的漂移，最终触发模型重训。

区分度衡量模型能否有效区分“好样本”与“坏样本”。核心指标包括 KS（Kolmogorov-Smirnov）、Gini 系数、AUC（Area Under ROC Curve）。

指标	取值范围	理想值	监控阈值（下降幅度）	适用场景
KS	0~1	0.3~0.6	下降 > 0.05 需关注	二分类评分卡
Gini	0~1	0.4~0.8	下降 > 0.03 需关注	信用评分、排序模型
AUC	0.5~1	0.7~0.9	下降 > 0.02 需关注	通用分类模型

常见误区：KS 和 AUC 下降不一定代表模型失效。若客群结构发生合理变化（如政策收紧导致坏样本率下降），区分度指标可能自然降低。此时需结合 PSI 和业务指标综合判断，避免误触发重训。

校准度衡量预测概率与实际发生率的匹配程度。即使区分度很高，若概率校准偏差大，也会导致业务决策失误。

指标	公式/计算方式	理想值	监控频率
Brier Score	(1/N) × Σ(pᵢ - yᵢ)²	< 0.1（坏样本率 10% 时）	月
校准曲线偏差	各分箱实际率 - 预测率的绝对值均值	< 0.02	月
HL 检验 p 值	卡方统计量对应的 p 值	> 0.05	季度

业务指标是模型监控的最终落脚点，直接反映模型对业务结果的影响。

监控联动示例：某消费金融模型监控到 PSI 从 0.09 升至 0.22（轻度漂移），同时 KS 从 0.45 降至 0.38（下降 0.07），但业务逾期率仅上升 0.2%。最终判断为客群结构变化导致模型排序能力小幅下降，但风险水平仍在可接受范围，采取“加强监控、暂不重训”策略。

不同业务阶段和模型类型，监控重点不同。以下矩阵帮助快速选择核心指标：

模型类型	核心监控指标	辅助指标	监控频率
申请评分卡	PSI、KS、通过率	CSI、逾期率	周
行为评分卡	PSI、Gini、逾期率	校准曲线、转化率	月
反欺诈模型	KS、AUC、欺诈率	PSI、误杀率	日
额度模型	Gini、收益率、用信率	PSI、Brier Score	月
定价模型	校准曲线、收益率	PSI、通过率	月

监控看板设计建议：将四维指标整合到同一看板，使用红黄绿灯标识状态。稳定性、区分度、校准度使用“趋势图 + 当前值 + 阈值线”展示；业务指标使用“实际值 vs 目标值”对比展示。每周自动生成监控报告，标注异常指标和排查建议。