2. 灰度验证指标体系：核心评估指标及其在灰度阶段的含义

额度模型灰度验证的核心任务，是在小范围真实流量中检验模型效果与稳定性。不同于离线回测，灰度阶段的数据分布、用户行为、拒绝推断都会引入新的不确定性。因此，需要一套专门针对灰度场景的评估指标体系，从区分能力、排序能力、稳定性和业务增益四个维度进行综合判断。

2.1 核心指标总览

下表列出灰度验证中最常用的五个指标，以及它们在灰度阶段与离线阶段的核心差异：

2.2 区分能力指标：KS 与 AUC

2.2.1 KS（Kolmogorov-Smirnov）

KS 统计量衡量模型对好/坏样本的最大区分能力。计算公式为：

KS = max( |Cumulative_Good_Rate(t) - Cumulative_Bad_Rate(t)| )

其中 t 为分数阈值。灰度阶段 KS 的解读要点：

• 阈值敏感：灰度样本量通常为离线样本的 5%-10%，KS 最大值位置可能漂移，建议同时报告 KS 值及其对应的分数段。
• 置信区间：使用 Bootstrap 方法计算 KS 的 90% 置信区间，若区间下限 > 0.15，则认为模型在灰度期仍具备有效区分力。
• 拒绝推断影响：灰度期只有通过审批的客户才有表现数据，KS 可能被高估，需结合拒绝再生成样本进行校准。

2.2.2 AUC（Area Under ROC Curve）

AUC 衡量模型对所有可能阈值下的平均排序能力。灰度阶段 AUC 的常见陷阱：

• 坏样本稀疏：灰度期坏账率通常低于 3%，导致 ROC 曲线在低 FPR 区域抖动剧烈，AUC 值偏低。
• 局部 AUC（pAUC）：建议计算 FPR < 0.2 时的局部 AUC，更贴近风控业务实际关注的低误杀区域。
• 与离线对比：灰度 AUC 不应低于离线 AUC 的 90%，否则需排查特征失效或分布偏移。

2.3 稳定性指标：PSI（Population Stability Index）

PSI 衡量模型分数在时间维度或样本维度上的分布偏移。灰度阶段 PSI 的计算方式：

PSI = Σ (Actual_i - Expected_i) * ln(Actual_i / Expected_i)

其中 Expected 为离线训练集的分数分布，Actual 为灰度线上实时分数分布。灰度阶段 PSI 的三种典型场景：

2.4 业务增益指标：Lift

Lift 衡量模型相对于随机选择，在特定坏账率阈值下的识别效率。计算公式：

Lift@k = (坏账率在 top k% 客群中的比例) / (整体坏账率)

灰度阶段 Lift 的解读要点：

• 关注 top 10%-20%：风控业务通常关注最高风险客群，建议计算 Lift@10% 和 Lift@20%。
• 与 KS 互补：KS 衡量整体区分力，Lift 衡量头部客群的识别效率。若 KS 达标但 Lift 偏低，说明模型对极端风险客群识别不足。
• 灰度期 Lift 衰减：由于拒绝偏差，灰度期 Lift 通常比离线低 10%-20%，若衰减超过 30% 需排查。

2.5 排序一致性指标：Gini

Gini 系数与 AUC 在数学上等价（Gini = 2*AUC - 1），但在灰度阶段更关注排序的单调性。Gini 的计算基于 Lorenz 曲线：

Gini = 1 - Σ (X_i - X_{i-1}) * (Y_i + Y_{i-1})

其中 X 为好样本累计占比，Y 为坏样本累计占比。灰度阶段 Gini 的特殊价值：

• 单调性检验：将灰度样本按分数等分为 10 组（Decile），计算每组坏账率。若坏账率随分数升高而单调递增，则 Gini 可信；若出现倒挂，即使 Gini 值高，模型也需调整。
• 分组 Gini：按客群（新客/老客、有抵押/无抵押）分别计算 Gini，识别模型在哪个子群上排序失效。

2.6 指标体系关系图

下图展示五个核心指标在灰度验证中的逻辑关系与决策流程：

2.7 灰度阶段指标对比矩阵

下表从五个维度对比各指标在灰度阶段的适用场景与局限性：

2.8 灰度验证指标看板示例

以下是一个灰度验证日报的核心指标看板结构，建议在灰度期间每日自动生成并监控：

| 日期       | 灰度流量 | KS   | AUC  | PSI  | Lift@10% | Gini | 决策建议 |
|------------|----------|------|------|------|----------|------|----------|
| 2025-04-01 | 5,000    | 0.28 | 0.73 | 0.08 | 2.1      | 0.46 | 继续     |
| 2025-04-02 | 5,200    | 0.26 | 0.71 | 0.11 | 1.9      | 0.42 | 关注PSI  |
| 2025-04-03 | 4,800    | 0.25 | 0.70 | 0.15 | 1.8      | 0.40 | 排查特征 |
| 2025-04-04 | 5,100    | 0.22 | 0.68 | 0.22 | 1.6      | 0.36 | 暂停灰度 |