3、数据准备与清洗：评估所需数据源与处理策略

额度策略效果评估的可靠性，首先取决于数据的质量。原始数据通常来自多个异构系统，存在缺失、异常、格式不一致等问题。本章聚焦于评估所需的核心数据源、清洗原则以及缺失值处理策略，确保后续分析的输入是干净、可信的。

3.1 评估所需三大数据源

额度策略评估主要依赖以下三类数据，它们分别从不同维度刻画用户的风险与价值特征：

3.2 数据清洗核心原则

数据清洗不是简单的“删除坏数据”，而是基于业务逻辑的规范化过程。以下四项原则是额度评估场景下的关键准则：

1. 一致性原则： 统一字段格式（如日期统一为 YYYY-MM-DD，金额统一为分单位），消除因系统差异导致的统计偏差。
2. 准确性原则： 剔除逻辑冲突的记录（如“申请额度”为负值、“逾期天数”大于观察周期）。
3. 时效性原则： 仅保留策略评估窗口期内的数据（例如：评估“2024年Q1调额策略”，只取该时间段前后的行为数据）。
4. 完整性原则： 对关键变量（如征信评分、收入）进行缺失率评估，缺失率超过阈值（如70%）的变量需考虑剔除或重构。

3.3 缺失值处理策略

缺失值在风控数据中普遍存在，处理不当会直接扭曲策略评估指标（如坏账率、通过率）。处理策略需结合缺失机制与业务含义：

3.3.1 缺失类型与应对方法

3.3.2 实操代码示例：缺失值处理流水线

以下Python代码展示了在评估数据集上应用上述策略的典型流程：

import pandas as pd
import numpy as np
from sklearn.impute import KNNImputer

# 加载清洗后的评估数据
df = pd.read_csv('credit_eval_data.csv')

# 1. 删除完全随机缺失且缺失率低于5%的字段
df.dropna(subset=['user_id', 'eval_date'], inplace=True)

# 2. 对连续变量（如收入）按额度等级分组填充中位数
df['income'] = df.groupby('credit_level')['income'].transform(
    lambda x: x.fillna(x.median())
)

# 3. 对非随机缺失变量（如征信分缺失）单独编码
df['credit_score_missing'] = df['credit_score'].isna().astype(int)
df['credit_score'].fillna(-1, inplace=True)  # 用-1标记缺失类

# 4. 对行为数据中的少量缺失使用KNN插补
imputer = KNNImputer(n_neighbors=5)
behavior_cols = ['consume_6m', 'utilization_rate', 'repay_delay_days']
df[behavior_cols] = imputer.fit_transform(df[behavior_cols])

print(f"缺失值处理完成，剩余样本量: {len(df)}")

3.4 数据质量评估清单

在进入策略效果计算前，建议使用以下清单对数据质量进行最终确认：

• 完整性检查： 每个核心变量的缺失率是否已控制在5%以下？
• 唯一性检查： 是否存在同一用户在同一评估时间点的重复记录？
• 范围检查： 连续变量（如额度使用率0-100%）是否在合理区间内？
• 一致性检查： 外部征信数据与内部行为数据的逾期定义是否对齐？
• 时间窗口检查： 行为数据是否严格限定在策略生效后的观察期内？