收益评估指标体系：核心指标及其业务含义

在风控模型上线后，评估其收益表现是否稳定、是否符合预期，需要一套标准化的指标体系。这些指标从不同维度衡量模型的区分能力、排序能力、稳定性以及业务转化效果。以下逐一拆解核心指标的定义、计算逻辑与业务含义。

2.1 指标总览与对比

2.2 核心指标详解

2.2.1 AUC（Area Under the ROC Curve）

AUC 衡量模型在所有可能阈值下对好坏样本的排序能力，即随机抽取一个正样本和一个负样本，模型将正样本排在负样本前面的概率。AUC 越接近 1，模型整体区分能力越强。

• 业务含义： 反映模型对整体客群的风险排序质量。AUC 下降通常意味着模型区分能力退化，可能是特征失效或客群偏移。
• 异常排查方向： 对比训练集与验证集的 AUC 差异；检查近期样本中好坏样本的分布是否发生逆转。

2.2.2 KS（Kolmogorov-Smirnov）

KS 统计量衡量好坏样本累计分布之间的最大垂直距离。KS 值越大，说明模型在某个特定阈值下能将好坏样本最大程度地分开。

• 业务含义： 常用于确定风控策略的拒绝阈值。KS 骤降可能意味着模型在关键决策点上的区分力丧失。
• 异常排查方向： 检查 KS 对应的阈值是否发生漂移；观察好坏样本的分布曲线是否出现交叉或重叠。

2.2.3 Gini 系数

Gini 系数来源于经济学中的基尼系数，在风控中通常等于 2×AUC - 1，衡量模型对风险集中度的排序能力。Gini 越高，模型越能将高风险样本集中到低分段。

• 业务含义： 反映模型对极端风险样本的捕捉能力。Gini 下降可能意味着模型对高风险客群的识别变弱。
• 异常排查方向： 结合 Lift 曲线观察尾部样本的排序变化；检查低分段样本的坏账率是否异常升高。

2.2.4 Lift（提升度）

Lift 衡量模型在某个评分区间内捕捉坏样本的能力相对于随机选择的倍数。通常按评分从低到高排序后，计算前 k% 样本中坏样本占比与整体坏样本占比的比值。

• 业务含义： 直接反映模型对业务策略的增益效果。Lift 下降意味着模型在拒绝或审批环节的筛选效率降低。
• 异常排查方向： 分段计算 Lift 值，观察是整体下降还是特定区间下降；结合通过率变化分析业务影响。

2.2.5 PSI（Population Stability Index）

PSI 衡量模型评分分布在不同时间窗口或不同样本集之间的稳定性。计算公式为：PSI = Σ( (实际占比 - 预期占比) × ln(实际占比 / 预期占比) )。

• 业务含义： PSI 是模型监控的“晴雨表”。PSI > 0.25 通常表示分布发生显著变化，需要立即排查原因。
• 异常排查方向： 分箱查看各分数段的占比变化；结合外部宏观因素（如政策、市场环境）判断是客群偏移还是模型失效。

2.3 指标关系与联动分析

以下 SVG 展示了五个核心指标之间的逻辑关系与联动机制，帮助理解在异常排查时如何从指标变化反推根因。

2.4 指标计算代码示例（Python）

以下代码展示了使用 scikit-learn 和 scipy 计算上述核心指标的方法，便于在排查异常时快速复现。

import numpy as np
import pandas as pd
from sklearn.metrics import roc_auc_score, roc_curve
from scipy.stats import ks_2samp

def calc_auc(y_true, y_score):
    """计算 AUC"""
    return roc_auc_score(y_true, y_score)

def calc_ks(y_true, y_score):
    """计算 KS 统计量"""
    fpr, tpr, thresholds = roc_curve(y_true, y_score)
    ks = max(tpr - fpr)
    return ks

def calc_gini(y_true, y_score):
    """计算 Gini 系数（Gini = 2*AUC - 1）"""
    auc = calc_auc(y_true, y_score)
    return 2 * auc - 1

def calc_lift(y_true, y_score, top_k=0.1):
    """计算前 top_k 样本的 Lift 值"""
    df = pd.DataFrame({'y_true': y_true, 'y_score': y_score})
    df = df.sort_values('y_score', ascending=True)
    n_top = int(len(df) * top_k)
    top_df = df.head(n_top)
    overall_bad_rate = df['y_true'].mean()
    top_bad_rate = top_df['y_true'].mean()
    return top_bad_rate / overall_bad_rate if overall_bad_rate > 0 else np.nan

def calc_psi(expected, actual, bins=10):
    """计算 PSI（群体稳定性指标）"""
    expected = np.array(expected)
    actual = np.array(actual)
    # 等宽分箱
    bin_edges = np.linspace(0, 1, bins + 1)
    expected_counts, _ = np.histogram(expected, bins=bin_edges)
    actual_counts, _ = np.histogram(actual, bins=bin_edges)
    # 转换为占比
    expected_pct = expected_counts / len(expected)
    actual_pct = actual_counts / len(actual)
    # 处理零值
    expected_pct = np.clip(expected_pct, 1e-6, 1)
    actual_pct = np.clip(actual_pct, 1e-6, 1)
    psi = np.sum((actual_pct - expected_pct) * np.log(actual_pct / expected_pct))
    return psi

# 示例用法
y_true = np.array([1, 0, 1, 0, 1, 0, 0, 1, 0, 0])
y_score = np.array([0.8, 0.3, 0.7, 0.4, 0.9, 0.2, 0.1, 0.6, 0.35, 0.25])
print(f"AUC: {calc_auc(y_true, y_score):.4f}")
print(f"KS: {calc_ks(y_true, y_score):.4f}")
print(f"Gini: {calc_gini(y_true, y_score):.4f}")
print(f"Lift (top 10%): {calc_lift(y_true, y_score, top_k=0.1):.4f}")
print(f"PSI: {calc_psi(y_score, y_score + np.random.normal(0, 0.1, 10)):.4f}")

2.5 指标异常阈值速查表

以上指标体系构成了风控模型收益评估的基石。在实际排查异常时，建议按“先看 PSI 判断稳定性 → 再看 AUC/KS 判断区分能力 → 最后看 Lift 判断业务影响”的顺序进行，能够快速定位问题根因。