4. 监控指标体系
模型上线只是起点，真正决定风控效果的是持续监控。一个完整的监控指标体系需要回答四个问题：模型能不能把好坏客户分开？分数分布会不会漂移？预测概率准不准？业务结果有没有恶化？这四个问题分别对应区分度、稳定性、校准度和业务指标。本节将逐一拆解它们的定义、计算方式与阈值设定逻辑。
一、四类指标的核心原理
区分度衡量模型对好坏样本的排序能力，常用KS、AUC、Gini。KS反映好坏累计分布的最大差值，AUC反映随机取一对好坏样本、模型给好样本更高分的概率。稳定性衡量分数分布随时间或客群的变化，常用PSI、CSI。PSI比较训练集与当前样本的分数分布，CSI则细化到每个特征。校准度衡量预测概率与真实违约率的一致性，常用校准曲线、Brier Score、预期校准误差ECE。业务指标则把模型输出映射到真实经营结果，如通过率、坏账率、审批时效、拒绝推断偏差。
二、计算方法与阈值设定
以下给出四类指标的典型计算口径与常用阈值区间。阈值不是固定值，需结合业务容忍度、样本量和历史波动确定。
| 指标类别 | 代表指标 | 计算口径 | 常用阈值 | 预警动作 |
|---|---|---|---|---|
| 区分度 | KS / AUC | KS=max|F_good-F_bad|；AUC=ROC曲线下面积 | KS≥0.3，AUC≥0.65 | 低于下限触发模型重训评估 |
| 稳定性 | PSI / CSI | PSI=Σ(实际占比-预期占比)×ln(实际/预期) | PSI<0.1稳定；0.1~0.25关注；>0.25预警 | PSI>0.25排查特征与客群 |
| 校准度 | ECE / Brier | ECE=Σ|预测概率-实际违约率|×样本占比 | ECE<0.05良好；>0.1需校准 | 超限执行Platt或Isotonic校准 |
| 业务指标 | 通过率/坏账率 | 通过率=通过数/申请数；坏账率=坏账数/放款数 | 偏离预算±15%预警 | 联动策略与额度调整 |
以PSI为例，其计算依赖分箱。分箱应使用训练集的分箱边界，避免因重新分箱导致口径不一致。下面是一段PSI计算示例：
import numpy as np
def psi(expected, actual, bins=10):
# expected: 训练集分数, actual: 当前分数
breakpoints = np.percentile(expected, np.linspace(0, 100, bins+1))
breakpoints[0], breakpoints[-1] = -np.inf, np.inf
exp_cnt, _ = np.histogram(expected, bins=breakpoints)
act_cnt, _ = np.histogram(actual, bins=breakpoints)
exp_pct = exp_cnt / len(expected)
act_pct = act_cnt / len(actual)
# 避免除零
exp_pct = np.where(exp_pct == 0, 1e-6, exp_pct)
act_pct = np.where(act_pct == 0, 1e-6, act_pct)
return np.sum((act_pct - exp_pct) * np.log(act_pct / exp_pct))
三、监控看板中的指标联动场景
某消费金融模型上线后，监控看板出现如下信号：AUC从0.72降至0.68，PSI从0.08升至0.19，ECE从0.03升至0.09，通过率上升8%但坏账率上升12%。单看AUC仍在可接受范围，但四指标联动说明：分数分布已漂移，概率校准变差，业务结果恶化。进一步下钻CSI发现“近6个月查询次数”特征贡献了主要漂移，原因是渠道客群结构变化。整改动作包括：对该特征做分箱重映射、对分数做Isotonic校准、收紧该渠道准入策略。两周后PSI回落至0.11，坏账率回落至预算内。
四、常见误区与复盘要点
- 只看AUC不看PSI：AUC稳定不代表分数分布稳定，客群漂移可能被平均效应掩盖。
- PSI分箱口径不一致：训练集与监控集使用不同分箱边界，PSI会虚高或虚低，必须固定边界。
- 校准度被忽略：概率失真会直接影响定价与拨备，ECE超限必须校准，不能只靠排序。
- 业务指标归因错误：通过率上升可能是策略放松而非模型变化，需结合策略版本与渠道结构分析。
- 阈值一刀切：不同产品、不同客群、不同样本量应设差异化阈值，避免误报与漏报。
总结来看，区分度、稳定性、校准度和业务指标构成监控看板的四根支柱。区分度回答“排序能力”，稳定性回答“分布是否漂移”，校准度回答“概率是否可信”，业务指标回答“经营是否健康”。只有四者联动分析，才能从看板信号走向整改闭环，真正守住模型上线后的持续有效性。