2. 数据采集偏差：样本选择偏差的成因、表现与识别方法

样本选择偏差（Sampling Bias）是风控建模中最隐蔽、破坏性最强的数据采集偏差之一。当训练样本的分布与模型实际应用的目标总体分布不一致时，模型在真实场景中的表现会显著劣化，甚至导致风控策略失效。本节将系统剖析其成因、典型表现及识别方法。

2.1 样本选择偏差的成因

样本选择偏差的核心在于“非随机缺失”——样本进入训练集的概率与目标变量或关键特征相关。在风控场景中，常见成因包括：

2.2 样本选择偏差的表现

样本选择偏差在风控模型中的表现具有隐蔽性和渐进性，通常通过以下指标异常暴露：

• 训练集与验证集性能倒挂： 模型在训练集上表现优异，但在线上验证集或OOT（跨时间）测试集上AUC/Gini显著下降。
• 分数分布偏移： 模型输出的风险评分在训练样本与全量申请样本之间出现系统性偏移（如均值、标准差变化）。
• 特征分布突变： 关键特征（如收入、负债率、设备指纹）在训练样本与实时申请样本中的PSI（群体稳定性指标）超过阈值。
• 拒绝率异常： 模型上线后，拒绝率与预期不符，且拒绝样本的风险特征与训练样本存在结构性差异。
• 坏账率低估： 模型预测的低风险区间实际坏账率高于预期，说明训练样本遗漏了部分高风险模式。

2.3 样本选择偏差的识别方法

识别样本选择偏差需要从数据分布、模型行为和业务逻辑三个维度交叉验证。以下是风控建模中常用的识别方法：

2.3.1 分布对比法

将训练样本与目标总体（如全量申请样本、实时流量样本）进行特征分布对比，计算PSI（群体稳定性指标）和KS统计量。

# 计算特征PSI的Python示例
import numpy as np
import pandas as pd

def calculate_psi(expected, actual, bins=10):
    # 将expected和actual分箱
    breakpoints = np.percentile(expected, np.linspace(0, 100, bins + 1))
    expected_counts = np.histogram(expected, bins=breakpoints)[0]
    actual_counts = np.histogram(actual, bins=breakpoints)[0]
    
    # 计算占比
    expected_pct = expected_counts / len(expected)
    actual_pct = actual_counts / len(actual)
    
    # 避免除零
    expected_pct = np.where(expected_pct == 0, 0.0001, expected_pct)
    actual_pct = np.where(actual_pct == 0, 0.0001, actual_pct)
    
    # 计算PSI
    psi = np.sum((actual_pct - expected_pct) * np.log(actual_pct / expected_pct))
    return psi

# 示例：对比训练样本与实时申请样本的收入特征
train_income = np.random.normal(10000, 3000, 10000)
live_income = np.random.normal(12000, 4000, 10000)
psi_value = calculate_psi(train_income, live_income)
print(f"收入特征PSI: {psi_value:.4f}")
# PSI > 0.1 提示显著偏移，需深入排查

2.3.2 拒绝推断验证法

通过拒绝推断技术（如Heckman两阶段法、模糊展开法）估计被拒绝样本的潜在标签，对比训练样本与全量样本的风险分布。

2.3.3 时间序列回溯法

将训练样本按时间切片（如周、月），观察各切片内特征分布和模型性能的变化趋势。如果模型在早期切片表现好、近期切片表现差，说明存在时间窗口截断偏差。

2.3.4 渠道/分层对比法

按数据来源渠道（如APP、H5、线下门店）、用户分层（如新客、老客、VIP）分别构建子样本，对比各子样本的模型性能差异。如果某个子样本的AUC显著低于其他子样本，说明该渠道或分层存在样本选择偏差。

2.4 样本选择偏差的量化评估

为了系统性地评估样本选择偏差的严重程度，建议建立以下量化指标体系：

2.5 实战案例：信贷审批模型的选择偏差

场景描述： 某消费金融公司开发信贷审批模型，训练样本仅包含2023年Q1通过审批且还款满6期的客户（好客户占比95%）。模型上线后，坏账率从预期的2%飙升至8%。

偏差识别过程：

1. 分布对比： 训练样本与全量申请样本的“收入负债比”特征PSI=0.32（严重偏移），训练样本中高负债用户占比仅为全量申请的1/3。
2. 拒绝推断： 使用Heckman两阶段法估计被拒绝样本的坏账概率，发现被拒绝样本中约40%实际为高风险用户，但训练样本完全未覆盖。
3. 时间回溯： 2023年Q2的申请量较Q1增长200%，且新增用户中年轻群体占比高，其风险特征与Q1样本存在结构性差异。

修复方案：

• 引入拒绝推断样本，将训练集扩展至包含被拒绝样本的模糊标签。
• 按时间窗口对样本进行加权，近期样本赋予更高权重。
• 增加渠道特征作为模型输入，控制渠道偏差。