2. 数据基础准备:催收相关数据源介绍
Collection Score 的预测精度直接取决于输入数据的质量与广度。在构建评分模型之前,必须系统梳理催收业务可用的数据源,并完成清洗与特征工程。本章将围绕三类核心数据源展开,并演示从原始数据到可用特征的标准处理流程。
2.1 催收相关数据源介绍
催收建模所需数据可归纳为三大类:账户信息、还款历史与行为数据。下表列出了每类数据的关键字段及其在催收策略中的用途。
| 数据类别 | 关键字段 | 催收策略用途 |
|---|---|---|
| 账户信息 | 合同金额、剩余本金、分期期数、逾期天数、产品类型、放款日期 | 确定案件严重程度、分配催收队列、计算催收成本上限 |
| 还款历史 | 历史还款记录、逾期次数、最长逾期天数、还款金额、还款方式 | 评估客户还款意愿与能力、识别恶意拖欠与临时性逾期 |
| 行为数据 | 催收通话记录、短信响应、APP登录频率、联系人接通率、承诺还款履约率 | 动态调整触达频率与渠道、预测近期还款概率 |
数据源优先级建议: 在资源有限的情况下,优先接入还款历史与行为数据。账户信息通常已存在于核心系统,而行为数据对短期还款预测的增益最为显著。
2.2 数据清洗与预处理
原始数据通常包含缺失值、异常值和格式不一致问题。以下步骤是催收数据清洗的标准流程:
- 缺失值处理:对于逾期天数、剩余本金等关键数值字段,使用中位数或业务规则填充;对于联系人接通率等行为字段,可单独标记为“无数据”类别。
- 异常值检测:利用箱线图或3σ原则识别极端值。例如,单日催收通话次数超过50次通常为数据录入错误,应截断或剔除。
- 格式统一:将日期字段统一为 YYYY-MM-DD 格式;将金额字段统一为浮点数并去除货币符号;将分类字段(如产品类型)映射为统一编码。
- 时间窗口对齐:确保所有特征的时间窗口一致。例如,行为数据统计周期统一为“观察日前30天”,避免未来信息泄露。
清洗案例: 某机构原始数据中“承诺还款日期”字段有15%的缺失值。经分析发现,缺失值主要来自未做出承诺的客户。处理方式:将缺失值单独编码为“未承诺”,并作为独立特征输入模型,最终该特征对模型AUC提升了0.03。
2.3 特征工程初步构建
特征工程是将原始数据转化为模型可理解信息的关键环节。以下是从三类数据源中提取的典型特征示例:
2.3.1 账户信息衍生特征
- 账龄:当前日期 - 放款日期(天)
- 逾期率:逾期天数 / 合同总期数
- 剩余本金占比:剩余本金 / 合同金额
2.3.2 还款历史衍生特征
- 历史逾期频率:过去12个月逾期次数 / 12
- 最大逾期深度:历史最大逾期天数
- 还款稳定性:过去6个月按时还款次数 / 6
2.3.3 行为数据衍生特征
- 催收响应率:接通次数 / 总外呼次数
- 承诺履约率:实际还款次数 / 承诺还款次数
- APP活跃度:观察期内APP登录天数 / 观察期总天数
特征工程避坑: 避免使用未来信息。例如,不要用“本次逾期是否结清”作为预测特征,因为该信息在催收触达时尚未发生。所有特征必须基于观察日之前的数据计算。
下图展示了从原始数据到可用特征集的完整处理流程:
2.4 数据质量检查清单
在进入特征工程之前,建议使用以下清单对数据质量进行最终确认:
| 检查项 | 检查标准 | 通过条件 |
|---|---|---|
| 缺失率 | 每字段缺失比例 | 关键字段缺失率 < 5% |
| 异常值比例 | 超出3σ范围的样本占比 | < 1% |
| 时间一致性 | 所有特征观察窗口是否对齐 | 100% 对齐 |
| 重复记录 | 同一合同ID是否出现多次 | 无重复 |
| 未来信息泄露 | 特征是否包含观察日之后的数据 | 0 泄露 |
实操建议: 建议将上述检查清单编写为自动化脚本,在每次数据更新后自动运行。一旦发现数据质量问题,立即触发告警并阻断模型更新流程,避免基于脏数据做出错误策略。