4. 数据采集与清洗：数据来源、质量检查与预处理

信用评分模型的质量高度依赖输入数据的准确性与完整性。本章聚焦于数据采集的三大来源、数据质量检查的核心维度，以及缺失值与异常值的标准化处理方法。数据清洗是人群分层信用定价的基石，直接影响后续分箱、评分卡构建与定价策略的有效性。

4.1 数据来源：银行与第三方征信

信用评分建模所需数据主要来自两类渠道：银行内部数据与第三方征信数据。两类数据在覆盖度、时效性与合规要求上存在显著差异，需在采集阶段明确其适用场景。

4.2 数据质量检查：六大核心维度

数据采集完成后，必须执行系统性质量检查。以下六个维度是信用评分建模的标准检查清单：

1. 完整性：检查字段缺失率，重点关注收入、负债、逾期天数等关键变量。
2. 准确性：验证字段值是否在合理范围内（如年龄 0-120、逾期天数 ≥ 0）。
3. 一致性：跨表或跨时间点的同一字段值是否逻辑自洽（如贷款余额 ≤ 授信额度）。
4. 时效性：数据采集时间是否在建模窗口期内（通常为近 6-12 个月）。
5. 唯一性：客户标识（如身份证号）是否存在重复记录。
6. 合规性：是否包含敏感字段（如种族、宗教信仰），需按监管要求脱敏或剔除。

4.3 缺失值处理策略

缺失值是信用数据中的常见问题。处理策略需根据缺失机制（完全随机缺失、随机缺失、非随机缺失）与变量重要性综合选择。以下为三种主流方法：

4.4 异常值处理：识别与修正

异常值可能源于数据录入错误、系统故障或真实的极端风险事件。处理前需先识别，再根据业务含义决定修正或保留。

4.4.1 异常值识别方法

• 统计法：基于四分位距（IQR），超出 Q1-1.5×IQR 或 Q3+1.5×IQR 视为异常。
• 业务规则法：如年龄 > 100 岁、月收入 > 1000 万、逾期天数 > 1800 天等。
• 模型法：使用孤立森林（Isolation Forest）或 DBSCAN 聚类检测多维异常。

4.4.2 异常值处理策略

4.5 数据清洗代码示例（Python）

以下代码展示了缺失值与异常值处理的典型实现，适用于信用评分建模前的数据预处理阶段。

import pandas as pd
import numpy as np

# 加载数据
df = pd.read_csv('credit_data.csv')

# 4.5.1 缺失值处理
# 删除缺失率 > 70% 的字段
threshold = 0.7
df = df.loc[:, df.isnull().mean() < threshold]

# 连续变量用中位数填充
for col in ['income', 'debt_ratio']:
    df[col].fillna(df[col].median(), inplace=True)

# 分类变量用众数填充，并新增缺失标记
df['has_credit_inquiry'] = df['credit_inquiry_count'].isnull().astype(int)
df['credit_inquiry_count'].fillna(0, inplace=True)

# 4.5.2 异常值处理（截尾法）
def winsorize_series(s, lower=0.01, upper=0.99):
    q_low = s.quantile(lower)
    q_high = s.quantile(upper)
    return s.clip(lower=q_low, upper=q_high)

df['income_winsorized'] = winsorize_series(df['income'])

# 4.5.3 业务规则异常值删除
df = df[df['age'].between(18, 100)]
df = df[df['overdue_days'] >= 0]

print(f"清洗后数据形状: {df.shape}")
print(f"缺失值比例:\n{df.isnull().mean().sort_values(ascending=False)}")