4. 偏差校验指标体系：稳定性指标(PSI)、区分度指标(IV)、缺失率、异常值比例、分布一致性指标

在金融风控特征平台中，特征质量直接决定模型的上线效果与长期稳定性。本章构建一套完整的偏差校验指标体系，从稳定性、区分度、完整性、合规性和分布一致性五个维度对特征进行量化评估。以下逐一拆解各指标的定义、计算公式、阈值标准及业务含义。

4.1 稳定性指标（PSI）

群体稳定性指标（Population Stability Index, PSI）衡量特征在时间维度上的分布偏移程度，是监控模型退化的核心指标。

• 计算公式：PSI = Σ (实际占比 - 预期占比) × ln(实际占比 / 预期占比)
• 分箱规则：通常将特征按等频或等距分为10箱，每箱占比不低于5%。
• 阈值标准：
  • PSI < 0.1：特征稳定，无需干预。
  • 0.1 ≤ PSI < 0.25：轻度偏移，需关注并分析原因。
  • PSI ≥ 0.25：严重偏移，特征需回退或重建。

4.2 区分度指标（IV）

信息量（Information Value, IV）衡量特征对好坏样本的区分能力，是特征筛选与入模决策的关键依据。

4.3 缺失率

缺失率反映特征在采集、传输、存储过程中的数据完整性问题。缺失率过高会导致模型训练偏差或线上推理失败。

• 计算公式：缺失率 = 缺失样本数 / 总样本数 × 100%
• 分级阈值：
  • 缺失率 < 5%：正常，可直接填充或保留。
  • 5% ≤ 缺失率 < 20%：需分析缺失机制（随机/非随机），选择合适填充策略。
  • 缺失率 ≥ 20%：特征质量存疑，建议重新采集或剔除。

4.4 异常值比例

异常值比例用于检测特征中是否存在超出业务合理范围的极端值。异常值会拉偏模型权重，导致泛化能力下降。

• 检测方法：
  1. IQR法则：超出 [Q1 - 1.5×IQR, Q3 + 1.5×IQR] 视为异常。
  2. Z-Score法：|Z| > 3 视为异常（适用于近似正态分布）。
  3. 业务阈值法：根据金融业务逻辑设定上下限（如年龄 > 120岁）。
• 阈值标准：异常值比例 < 1% 为正常；1% ~ 5% 需核查；> 5% 建议截尾或剔除。

# 异常值检测示例（IQR法则）
import numpy as np

def detect_outliers_iqr(data):
    Q1 = np.percentile(data, 25)
    Q3 = np.percentile(data, 75)
    IQR = Q3 - Q1
    lower_bound = Q1 - 1.5 * IQR
    upper_bound = Q3 + 1.5 * IQR
    outliers = (data < lower_bound) | (data > upper_bound)
    return outliers, lower_bound, upper_bound

4.5 分布一致性指标

分布一致性指标用于检验特征在训练集与测试集（或不同时间窗口）之间是否服从同一分布。常用方法包括KS检验和JS散度。

4.6 指标体系总览

以下SVG图展示偏差校验指标体系的完整框架，包含五个核心维度及其相互关联关系。

4.7 指标联动分析示例

实际业务中，单一指标异常往往伴随其他指标同步恶化。以下表格展示一个典型的联动分析场景：