3. 数据准备与探索：数据源类型、质量检查与缺失值异常值处理

在额度模型与分群评分沙盘实战中，数据是模型的生命线。本章聚焦于数据源类型识别、数据质量检查以及缺失值与异常值的系统化处理。只有经过严格清洗与探索的数据，才能支撑后续稳健的额度测算与分群评分。

3.1 数据源类型：征信、行为、三方

额度模型通常融合三类数据源，每类数据在风险刻画中扮演不同角色。下表对比了三者的核心特征与典型字段：

3.2 数据质量检查

数据质量检查是数据准备的第一步，直接影响模型稳定性。检查维度包括完整性、准确性、一致性与时效性。以下为沙盘实战中常用的质量检查清单：

• 完整性检查：统计每个字段的空值比例，设定阈值（如缺失率 > 50% 的字段考虑剔除）。
• 准确性检查：验证字段值域是否合理（如年龄 0-120、金额非负），识别异常编码（如性别字段出现“未知”以外的值）。
• 一致性检查：跨表关联时，检查主键唯一性、时间戳对齐、分类标签统一（如“已婚”与“M”是否映射一致）。
• 时效性检查：检查数据时间戳是否在预期窗口内，是否存在未来日期或过期数据。

3.3 缺失值处理

缺失值处理需结合缺失机制与业务含义。常见方法包括删除、填充与模型预测。下表总结了不同场景下的推荐策略：

3.4 异常值处理

异常值处理的目标是识别并修正那些偏离正常分布的数据点，避免模型被极端值主导。常用方法包括统计分布法、箱线图法与业务规则法。

• 统计分布法：基于均值±3倍标准差或百分位数（如1%和99%分位）截断。
• 箱线图法：以四分位距（IQR）为基准，识别超出 Q1-1.5*IQR 或 Q3+1.5*IQR 的点。
• 业务规则法：根据业务常识设定硬阈值（如单笔消费金额不超过100万）。

3.5 数据探索与可视化

在完成质量检查与处理后，需进行探索性数据分析（EDA），以理解数据分布、变量关系与分群潜力。常用方法包括：

• 单变量分析：绘制直方图、箱线图，观察分布形态与异常点。
• 双变量分析：计算相关系数矩阵，识别与目标变量（如逾期标签）强相关的特征。
• 分群视角：按征信分、收入水平等维度分组，比较各组的额度使用率与违约率差异。

# 数据质量检查与缺失值处理示例代码（Python）
import pandas as pd
import numpy as np

# 加载数据
df = pd.read_csv('credit_data.csv')

# 1. 数据质量检查
print("缺失率报告：")
print(df.isnull().mean().sort_values(ascending=False))

# 2. 异常值检测（基于箱线图）
def detect_outliers_iqr(data, column):
    Q1 = data[column].quantile(0.25)
    Q3 = data[column].quantile(0.75)
    IQR = Q3 - Q1
    lower_bound = Q1 - 1.5 * IQR
    upper_bound = Q3 + 1.5 * IQR
    outliers = data[(data[column] < lower_bound) | (data[column] > upper_bound)]
    return outliers

# 3. 缺失值填充（中位数填充）
df['income'].fillna(df['income'].median(), inplace=True)

# 4. 异常值截断（99%分位）
upper_limit = df['loan_amount'].quantile(0.99)
df['loan_amount'] = df['loan_amount'].clip(upper=upper_limit)

print("数据清洗完成，剩余样本数：", len(df))