3. 数据准备与清洗

贷后预警滚动率评估的准确性,高度依赖底层数据的质量。数据准备与清洗是建模流程中最耗时、最关键的环节之一。本节将系统梳理所需的核心数据字段、多源数据整合策略,以及缺失值与异常值的处理方法,确保后续滚动率计算与预警信号输出建立在可靠的数据基础之上。

3.1 所需核心数据字段

滚动率评估需要覆盖客户从授信到当前时点的全生命周期行为数据。根据评估目标,数据字段可分为以下四大类:

数据类别 字段名称 字段说明 数据来源
客户标识 客户ID / 身份证号 唯一标识客户身份 核心系统
账户信息 合同号 / 借据号 关联具体授信合同 信贷系统
时间维度 放款日期、到期日期、观察日期 定义滚动窗口的起止点 账务系统
还款行为 应还金额、实还金额、逾期天数、当前逾期期数 计算滚动率的核心输入 还款流水表
风险状态 五级分类、核销标记、催收阶段 辅助判断资产质量 风控系统
衍生指标 历史最大逾期天数、近6个月逾期次数 用于分层与分组 衍生计算
实践提示: 建议在数据提取阶段即保留“观察时点”字段,便于后续按不同时间窗口(如月、季、年)灵活计算滚动率,避免重复回溯全量数据。

3.2 数据源整合策略

贷后预警数据通常分散在多个业务系统中。整合过程需遵循“客户-合同-还款”三层关联模型,确保数据在时间轴上的连续性与一致性。

整合流程分为以下四个步骤:

  1. 主键统一: 以“客户ID + 合同号”作为唯一关联键,消除不同系统间的编码差异。
  2. 时间对齐: 将所有数据的时间戳统一为“自然日”粒度,并补齐周末与节假日导致的缺失日期。
  3. 行为归因: 将还款流水按合同号归集到对应账户,避免跨合同混淆。
  4. 快照生成: 按观察时点生成客户级与合同级的月度/季度快照表,作为滚动率计算的直接输入。
关键原则: 数据整合过程中,必须保留原始字段的“数据血缘”标记(如源系统名称、提取时间戳),以便在异常排查时快速定位问题源头。
数据源整合流程 核心系统 客户信息 信贷系统 合同/借据 账务系统 还款流水 数据整合层 主键统一 · 时间对齐 · 行为归因 月度/季度快照表

3.3 缺失值处理

缺失值在贷后数据中普遍存在,主要成因包括:客户提前结清导致后续还款记录为空、新发放贷款尚未到首个还款日、数据接口传输异常等。处理策略需区分缺失类型:

缺失类型 典型场景 处理策略 注意事项
完全随机缺失 单笔还款记录因系统故障丢失 删除该记录或使用均值/中位数填充 缺失比例 < 5% 时可直接删除
随机缺失 逾期客户更可能缺失联系方式 多重插补或模型预测填充 需引入辅助变量(如历史逾期状态)
非随机缺失 提前结清客户后续无还款记录 标记为“已结清”状态,不参与滚动率计算 需单独分析结清客户的风险特征
结构性缺失 新发放贷款尚未到首期还款日 保留记录,但标记“待观察” 在滚动率计算中排除该时间窗口
避坑提醒: 切勿对“提前结清”或“核销”等状态客户的缺失还款记录进行简单填充,这会导致滚动率被严重低估。建议单独设置状态标记,在计算时按业务规则排除或单独分组。

3.4 异常值处理

异常值会直接扭曲滚动率的计算结果,常见异常类型包括:逾期天数超过合同期限、还款金额为负数、同一合同在同一天出现多条冲突记录等。处理流程如下:

  • 规则校验: 设定字段级业务规则(如逾期天数 ∈ [0, 合同期限+30]),自动标记超出范围的记录。
  • 逻辑校验: 检查时间顺序(如“还款日期”必须晚于“放款日期”),以及金额逻辑(如“实还金额”不应超过“应还金额”的120%)。
  • 统计校验: 使用箱线图或Z-score方法识别连续型变量(如逾期天数、还款金额)的极端值。
  • 人工复核: 对标记为异常但无法自动修正的记录,提交业务团队确认。
异常值处理决策流程 原始数据输入 规则校验 通过? 进入滚动率计算 标记异常 · 人工复核 说明:规则校验包括业务规则、逻辑校验与统计校验三层;未通过记录需人工确认后方可进入后续计算。

3.5 数据清洗质量检查清单

完成清洗后,建议按以下清单进行质量验证,确保数据可用性:

检查项 检查标准 通过条件
缺失率 核心字段缺失比例 ≤ 5%
异常率 标记为异常的记录占比 ≤ 2%
时间连续性 观察窗口内无断裂日期 100% 覆盖
主键唯一性 客户ID+合同号无重复 100% 唯一
金额平衡 应还总额 ≈ 实还总额 + 逾期总额 偏差 < 0.1%
最佳实践: 建议将数据清洗逻辑封装为可复用的ETL脚本,并在每次提取新批次数据后自动运行质量检查清单,输出通过/未通过报告,实现数据质量的持续监控。