3. 数据基础准备：数据源类型、清洗与质量评估

人群切片复盘的质量，90% 取决于底层数据的准确性与完整性。本章聚焦风控场景下三类核心数据源的特征、清洗方法及质量评估标准，为后续切片分析打下坚实基础。

3.1 数据源类型与特征

风控人群切片通常依赖以下三类数据源，每类数据在切片维度、时效性和覆盖度上各有差异：

3.2 数据清洗与预处理

原始数据无法直接用于切片分析，必须经过以下标准化清洗流程：

1. 缺失值处理：对关键字段（如收入、年龄）采用均值/中位数填充；对非关键字段（如备用联系人）可标记为“未知”。
2. 异常值检测：使用 IQR 或 Z-score 方法识别极端值（如申请金额超过 100 万），结合业务规则判断是否剔除或截尾。
3. 格式统一：日期统一为 YYYY-MM-DD，金额统一为分（整数），手机号、身份证号做脱敏处理。
4. 重复记录去重：按用户 ID + 时间戳排序，保留最新一条有效记录。
5. 衍生变量构造：如“近 30 天登录天数”、“多头借贷平台数”等聚合指标，提升切片区分度。

# 示例：Python 数据清洗片段
import pandas as pd
import numpy as np

# 读取原始申请数据
df = pd.read_csv('apply_data.csv')

# 缺失值处理：收入字段用中位数填充
df['income'].fillna(df['income'].median(), inplace=True)

# 异常值截尾：申请金额上限设为 99 分位数
cap = df['loan_amount'].quantile(0.99)
df['loan_amount'] = df['loan_amount'].clip(upper=cap)

# 日期格式统一
df['apply_date'] = pd.to_datetime(df['apply_date'], format='%Y%m%d')

# 衍生变量：近 7 天申请次数
df['apply_7d_count'] = df.groupby('user_id')['apply_date'].transform(
    lambda x: x.diff().dt.days.le(7).cumsum()
)

3.3 数据质量评估

在进入切片分析前，必须对数据质量做量化评估。以下为风控场景的核心评估维度：

3.4 数据源融合与切片对齐

三类数据源融合时，需注意以下对齐规则：

• 用户级主键：统一使用 user_id + 时间戳作为关联键，避免因手机号、身份证号变更导致匹配失败。
• 时间窗口对齐：行为数据与外部征信数据需对齐到申请时间点（T 日），避免引入未来信息。
• 切片粒度统一：所有数据源在融合后，必须按切片维度（如“近 3 个月逾期次数”）做聚合，确保每行代表一个用户的一个切片标签。