3. 数据准备与清洗
贷后预警滚动率评估的准确性,高度依赖底层数据的质量。数据准备与清洗是建模流程中最耗时、最关键的环节之一。本节将系统梳理所需的核心数据字段、多源数据整合策略,以及缺失值与异常值的处理方法,确保后续滚动率计算与预警信号输出建立在可靠的数据基础之上。
3.1 所需核心数据字段
滚动率评估需要覆盖客户从授信到当前时点的全生命周期行为数据。根据评估目标,数据字段可分为以下四大类:
| 数据类别 | 字段名称 | 字段说明 | 数据来源 |
|---|---|---|---|
| 客户标识 | 客户ID / 身份证号 | 唯一标识客户身份 | 核心系统 |
| 账户信息 | 合同号 / 借据号 | 关联具体授信合同 | 信贷系统 |
| 时间维度 | 放款日期、到期日期、观察日期 | 定义滚动窗口的起止点 | 账务系统 |
| 还款行为 | 应还金额、实还金额、逾期天数、当前逾期期数 | 计算滚动率的核心输入 | 还款流水表 |
| 风险状态 | 五级分类、核销标记、催收阶段 | 辅助判断资产质量 | 风控系统 |
| 衍生指标 | 历史最大逾期天数、近6个月逾期次数 | 用于分层与分组 | 衍生计算 |
实践提示: 建议在数据提取阶段即保留“观察时点”字段,便于后续按不同时间窗口(如月、季、年)灵活计算滚动率,避免重复回溯全量数据。
3.2 数据源整合策略
贷后预警数据通常分散在多个业务系统中。整合过程需遵循“客户-合同-还款”三层关联模型,确保数据在时间轴上的连续性与一致性。
整合流程分为以下四个步骤:
- 主键统一: 以“客户ID + 合同号”作为唯一关联键,消除不同系统间的编码差异。
- 时间对齐: 将所有数据的时间戳统一为“自然日”粒度,并补齐周末与节假日导致的缺失日期。
- 行为归因: 将还款流水按合同号归集到对应账户,避免跨合同混淆。
- 快照生成: 按观察时点生成客户级与合同级的月度/季度快照表,作为滚动率计算的直接输入。
关键原则: 数据整合过程中,必须保留原始字段的“数据血缘”标记(如源系统名称、提取时间戳),以便在异常排查时快速定位问题源头。
3.3 缺失值处理
缺失值在贷后数据中普遍存在,主要成因包括:客户提前结清导致后续还款记录为空、新发放贷款尚未到首个还款日、数据接口传输异常等。处理策略需区分缺失类型:
| 缺失类型 | 典型场景 | 处理策略 | 注意事项 |
|---|---|---|---|
| 完全随机缺失 | 单笔还款记录因系统故障丢失 | 删除该记录或使用均值/中位数填充 | 缺失比例 < 5% 时可直接删除 |
| 随机缺失 | 逾期客户更可能缺失联系方式 | 多重插补或模型预测填充 | 需引入辅助变量(如历史逾期状态) |
| 非随机缺失 | 提前结清客户后续无还款记录 | 标记为“已结清”状态,不参与滚动率计算 | 需单独分析结清客户的风险特征 |
| 结构性缺失 | 新发放贷款尚未到首期还款日 | 保留记录,但标记“待观察” | 在滚动率计算中排除该时间窗口 |
避坑提醒: 切勿对“提前结清”或“核销”等状态客户的缺失还款记录进行简单填充,这会导致滚动率被严重低估。建议单独设置状态标记,在计算时按业务规则排除或单独分组。
3.4 异常值处理
异常值会直接扭曲滚动率的计算结果,常见异常类型包括:逾期天数超过合同期限、还款金额为负数、同一合同在同一天出现多条冲突记录等。处理流程如下:
- 规则校验: 设定字段级业务规则(如逾期天数 ∈ [0, 合同期限+30]),自动标记超出范围的记录。
- 逻辑校验: 检查时间顺序(如“还款日期”必须晚于“放款日期”),以及金额逻辑(如“实还金额”不应超过“应还金额”的120%)。
- 统计校验: 使用箱线图或Z-score方法识别连续型变量(如逾期天数、还款金额)的极端值。
- 人工复核: 对标记为异常但无法自动修正的记录,提交业务团队确认。
3.5 数据清洗质量检查清单
完成清洗后,建议按以下清单进行质量验证,确保数据可用性:
| 检查项 | 检查标准 | 通过条件 |
|---|---|---|
| 缺失率 | 核心字段缺失比例 | ≤ 5% |
| 异常率 | 标记为异常的记录占比 | ≤ 2% |
| 时间连续性 | 观察窗口内无断裂日期 | 100% 覆盖 |
| 主键唯一性 | 客户ID+合同号无重复 | 100% 唯一 |
| 金额平衡 | 应还总额 ≈ 实还总额 + 逾期总额 | 偏差 < 0.1% |
最佳实践: 建议将数据清洗逻辑封装为可复用的ETL脚本,并在每次提取新批次数据后自动运行质量检查清单,输出通过/未通过报告,实现数据质量的持续监控。