3. KS与AUC指标：区分度与排序能力的核心度量

在风控模型评估中，KS（Kolmogorov-Smirnov）与AUC（Area Under the ROC Curve）是衡量模型区分度与排序能力的两大基石。KS侧重最大分离差距，AUC侧重全局排序质量。理解两者的数学含义、计算逻辑与适用场景，是Champion Challenger框架下模型选型的必备技能。

3.1 KS统计量的含义与计算

KS统计量衡量的是好样本累计分布与坏样本累计分布之间的最大垂直距离。其值越大，说明模型对好坏客户的区分能力越强。

3.1.1 数学定义

设模型输出分数为 s，好客户（Good）与坏客户（Bad）的累计分布函数分别为 F_G(s) 和 F_B(s)，则：

KS = max | F_G(s) - F_B(s) |
     s

KS取值范围为 [0, 1]。在风控实践中，通常认为：

3.1.2 计算步骤

1. 排序：将样本按模型预测概率（或分数）从低到高排序。
2. 分箱：将排序后的样本等频分为10组（或20组）。
3. 统计：计算每组内好客户占比、坏客户占比。
4. 累计：计算好客户累计占比、坏客户累计占比。
5. 差值：计算每组累计占比差值的绝对值，取最大值即为KS。

3.2 AUC的几何意义

AUC是ROC曲线（Receiver Operating Characteristic Curve）下的面积。ROC曲线以假正率（FPR）为横轴、真正率（TPR）为纵轴，刻画模型在不同阈值下的分类表现。

3.2.1 几何解释

• AUC = 1：完美分类器，ROC曲线经过左上角 (0,1)。
• AUC = 0.5：随机猜测，ROC曲线为对角线。
• AUC > 0.5：模型优于随机，值越大排序能力越强。

AUC的另一个等价含义是：随机抽取一个正样本和一个负样本，模型将正样本排在负样本前面的概率。这一解释使其在风控排序场景中具有天然优势。

3.2.2 计算方式

实际计算中，常用Wilcoxon-Mann-Whitney统计量：

AUC = (Σ rank_pos - n_pos * (n_pos + 1) / 2) / (n_pos * n_neg)

其中 rank_pos 为正样本的排序秩次之和，n_pos 和 n_neg 分别为正负样本数。

3.3 KS与AUC在风控中的适用场景

KS与AUC虽然都衡量区分度，但关注点不同，适用场景也有明显差异。

3.3.1 场景选择指南

• 阈值决策场景（如审批通过率设定）：优先使用KS，找到好坏客户分离最大的分数点作为阈值。
• 模型选型场景（如Champion vs Challenger对比）：优先使用AUC，避免单一阈值带来的偏差。
• 监控预警场景（如模型稳定性监测）：两者结合使用，KS下降说明最大区分点偏移，AUC下降说明整体排序退化。

3.4 KS与AUC对比示意图

下图展示了KS与AUC在同一个模型上的不同视角：KS关注好坏累计分布的最大垂直距离，AUC关注ROC曲线下的整体面积。

3.5 Champion Challenger中的联合使用策略

在Champion Challenger框架中，KS与AUC的联合使用遵循以下流程：

1. 初筛阶段：计算所有候选模型的AUC，淘汰AUC < 0.75的模型。
2. 精筛阶段：对通过初筛的模型，计算KS并绘制KS曲线，观察最大分离点位置。
3. 阈值对齐：根据业务目标（如通过率、坏账率），在KS最大点附近确定审批阈值。
4. 稳定性验证：在时间外样本上重新计算KS与AUC，确保两者均未出现显著下降。

3.6 代码实现示例

以下Python代码展示了KS与AUC的快速计算：

import numpy as np
from sklearn.metrics import roc_auc_score

def calculate_ks(y_true, y_score):
    """
    计算KS统计量
    y_true: 真实标签（1=坏客户，0=好客户）
    y_score: 模型预测概率
    """
    data = list(zip(y_score, y_true))
    data.sort(key=lambda x: x[0])  # 按分数排序

    n_good = sum(1 for _, label in data if label == 0)
    n_bad = sum(1 for _, label in data if label == 1)

    cum_good = 0
    cum_bad = 0
    ks = 0.0

    for score, label in data:
        if label == 0:
            cum_good += 1
        else:
            cum_bad += 1
        ks = max(ks, abs(cum_good / n_good - cum_bad / n_bad))

    return ks

# 示例数据
y_true = [0, 1, 0, 0, 1, 0, 1, 0, 0, 1]
y_score = [0.1, 0.4, 0.2, 0.3, 0.8, 0.15, 0.7, 0.25, 0.35, 0.9]

ks_value = calculate_ks(y_true, y_score)
auc_value = roc_auc_score(y_true, y_score)

print(f"KS = {ks_value:.4f}")
print(f"AUC = {auc_value:.4f}")

输出结果：

KS = 0.5833
AUC = 0.9167