3. 金融模型评估指标概览：区分度、校准度与稳定性

在金融风控模型的A/B效果评估中，单一指标无法全面反映模型性能。我们需要从区分度（模型能否区分好坏客户）、校准度（预测概率是否准确反映真实风险）和稳定性（模型表现是否随时间变化）三个维度进行综合评估。本章将系统介绍这三大类核心指标的定义、计算逻辑与解读方法。

3.1 区分度指标：KS与AUC

区分度衡量模型将“好客户”与“坏客户”分开的能力。最常用的两个指标是KS（Kolmogorov-Smirnov）和AUC（Area Under the ROC Curve）。

3.1.1 KS统计量

KS值衡量的是好坏客户累计分布之间的最大差异。计算公式为：

KS = max( |Cumulative_Bad(i) - Cumulative_Good(i)| )

其中，Cumulative_Bad(i) 和 Cumulative_Good(i) 分别表示在按模型评分排序后，前i个样本中坏客户和好客户的累计占比。KS值范围在0~1之间，通常认为：

• KS < 0.2：模型区分能力弱，基本不可用。
• 0.2 ≤ KS < 0.4：模型区分能力中等，可接受。
• 0.4 ≤ KS < 0.6：模型区分能力强，表现良好。
• KS ≥ 0.6：需警惕过拟合或特征泄露，需结合业务验证。

3.1.2 AUC（ROC曲线下面积）

AUC是ROC曲线（真正率TPR vs 假正率FPR）下的面积，综合反映模型在所有阈值下的平均区分能力。AUC值范围在0.5~1之间：

• AUC = 0.5：模型无区分能力，等同于随机猜测。
• 0.7 ≤ AUC < 0.8：模型区分能力可接受。
• 0.8 ≤ AUC < 0.9：模型区分能力优秀。
• AUC ≥ 0.9：模型区分能力极高，但需验证是否过拟合。

3.2 校准度指标：Hosmer-Lemeshow与校准曲线

校准度衡量模型预测概率与实际观测频率之间的一致性。即使区分度很高，若校准度差，模型给出的违约概率也会产生系统性偏差，导致定价或准备金计提失准。

3.2.1 Hosmer-Lemeshow检验

H-L检验将样本按预测概率排序后分为10组（通常为等分或等宽分组），计算每组内实际违约率与平均预测违约率的差异，构造卡方统计量：

HL = Σ[(Observed_i - Expected_i)² / (Expected_i * (1 - Expected_i) / n_i)]

其中，Observed_i 为第i组实际违约数，Expected_i 为第i组预测违约数，n_i 为第i组样本量。HL统计量服从自由度为8的卡方分布。若p值 > 0.05，则模型校准度良好，无显著偏差。

3.2.2 校准曲线

校准曲线以图形方式展示预测概率与实际频率的关系。理想情况下，曲线应接近45度对角线。若曲线在对角线上方，说明模型低估了风险；若在下方，则高估了风险。

3.3 稳定性指标：PSI

模型稳定性是金融风控模型长期有效的基础。PSI（Population Stability Index，群体稳定性指标）是衡量模型评分分布随时间或样本变化程度的常用指标。

3.3.1 PSI计算公式

PSI = Σ[(Actual_i - Expected_i) * ln(Actual_i / Expected_i)]

其中，Expected_i 为基准样本（如建模样本）在第i个分数区间的占比，Actual_i 为当前样本（如验证样本）在第i个分数区间的占比。通常将评分分为10~20个等宽区间。

3.3.2 PSI评估标准

3.3.3 PSI在A/B测试中的应用

在A/B测试中，PSI用于验证模型在测试样本上的分布是否与训练样本一致。若PSI过高，说明模型在新样本上表现不稳定，即使区分度和校准度指标良好，也不宜直接上线。

3.4 三大指标综合评估框架

在实际A/B效果评估中，应将区分度、校准度和稳定性指标结合使用，形成完整的评估矩阵：

3.5 本章小结

本章系统介绍了金融模型评估的三大核心指标：

• 区分度指标（KS、AUC）：衡量模型区分好坏客户的能力，是模型有效性的基础。
• 校准度指标（Hosmer-Lemeshow检验、校准曲线）：衡量预测概率的准确性，确保风险量化可靠。
• 稳定性指标（PSI）：衡量模型评分分布的稳定性，保障模型长期有效。