3、数据采集与预处理：内部系统数据、外部征信数据、网络爬虫数据的采集与清洗、缺失值处理
贷后预警模型的坏样本归因分析，其结论的可靠性高度依赖于底层数据的质量。本章聚焦于数据采集与预处理环节，系统阐述三类核心数据源（内部系统、外部征信、网络爬虫）的采集策略、清洗规则及缺失值处理方法，为后续的特征工程与模型训练奠定坚实基础。
3.1 三类数据源采集策略
贷后预警场景下的数据采集并非简单的数据搬运，而是需要根据业务逻辑与合规要求，对不同来源的数据采取差异化的采集方案。下表对比了三类数据源的核心特征与采集要点：
| 数据源类型 | 典型数据内容 | 采集方式 | 核心挑战 |
|---|---|---|---|
| 内部系统数据 | 还款流水、逾期记录、客户基本信息、历史催收记录、APP行为日志 | API接口直连、数据库ETL、日志文件解析 | 数据孤岛、字段定义不一致、历史数据迁移 |
| 外部征信数据 | 央行征信报告、百行/朴道征信、多头借贷记录、司法涉诉信息 | API接口调用（需授权）、征信报告解析、数据服务商对接 | 合规授权、接口延迟、数据格式非标准化 |
| 网络爬虫数据 | 工商信息、裁判文书、招聘信息、社交媒体舆情、黑产曝光帖 | 定向爬虫、API代理、RPA自动化采集 | 反爬机制、数据时效性、法律合规风险 |
合规提示：外部征信数据与网络爬虫数据的采集必须严格遵守《个人信息保护法》与《征信业务管理办法》。爬虫数据仅限采集公开信息，严禁通过破解、撞库等非法手段获取数据。
3.2 数据清洗核心流程
原始数据通常包含大量噪声、重复记录与格式错误。数据清洗的目标是将“脏数据”转化为可供分析的标准化数据集。以下为贷后预警场景下的标准清洗流程：
- 格式标准化：统一日期格式（如 YYYY-MM-DD）、电话号码格式（去除空格与特殊符号）、金额单位（统一为元）。
- 去重处理：基于客户唯一标识（如身份证号、手机号）进行精确去重；对于爬虫数据，需结合文本相似度进行模糊去重。
- 异常值过滤：识别并处理明显违背业务逻辑的数据，如年龄 > 150岁、逾期天数 > 贷款期限、还款金额为负数等。
- 逻辑校验：验证字段间的关联一致性，例如“放款日期”必须早于“首期还款日”，“逾期金额”必须小于等于“应还总额”。
- 数据脱敏：对身份证号、手机号、银行卡号等敏感字段进行脱敏处理（如保留前6后4），确保数据存储与传输安全。
清洗案例：某机构在清洗内部催收记录时发现，同一笔逾期案件在“催收状态”字段中同时存在“已结清”和“催收中”两条记录。通过时间戳校验与催收员操作日志回溯，最终判定“已结清”为系统自动更新状态，保留该记录并剔除冗余的“催收中”记录。
3.3 缺失值处理策略
缺失值是贷后预警数据中的常见问题，尤其在外部征信与爬虫数据中更为突出。缺失值的处理方式直接影响模型稳定性与归因结论的准确性。根据缺失机制与业务含义，通常采用以下策略：
| 缺失类型 | 业务含义 | 推荐处理方法 | 适用场景 |
|---|---|---|---|
| 完全随机缺失 | 缺失与数据本身无关，如系统故障导致部分字段未采集 | 删除记录（若缺失比例 < 5%）或均值/中位数填充 | 内部系统日志字段、非关键征信字段 |
| 随机缺失 | 缺失与其他已观测变量相关，如高收入人群更少提供收入证明 | 多重插补（MICE）、回归预测填充 | 收入字段、学历字段、职业信息 |
| 非随机缺失 | 缺失与缺失值本身相关，如逾期客户故意不接听电话导致催收记录缺失 | 单独编码为“缺失”类别，或构建缺失指示变量 | 催收联系结果、客户主动提供的信息 |
| 结构性缺失 | 因业务规则导致某些字段不适用，如无配偶客户无配偶信息 | 保留为“不适用”或“0”，不进行填充 | 婚姻状况、配偶收入、担保人信息 |
避坑指南：在贷后预警场景中，切勿对所有缺失值统一使用均值填充。例如，逾期客户的“联系人接通状态”字段缺失，往往意味着客户失联，这是一个强预警信号。若简单填充为“已接通”，将严重削弱模型的预警能力。
3.4 数据预处理架构总览
以下SVG图展示了从多源数据采集到预处理完成的全链路架构，清晰呈现了数据流在各环节的流转与处理逻辑。
3.5 数据质量评估与监控
数据预处理并非一次性工作，而是需要建立持续的质量监控机制。贷后预警系统应定期对数据源进行质量评估，确保预处理流程的有效性。以下为关键监控指标：
- 数据完整率：各核心字段的缺失比例，目标值应 > 95%。
- 数据准确率：通过抽样人工核验，确认清洗后的数据与原始凭证一致。
- 数据时效性：从数据产生到进入预处理库的时间延迟，外部征信数据应控制在T+1以内。
- 数据一致性：跨系统间同一字段的定义与取值是否统一，如“逾期天数”的计算口径。
最佳实践：建议在数据预处理流水线中嵌入自动化数据质量检查节点。例如，在ETL任务完成后，自动执行SQL脚本统计各字段缺失率与异常值占比，若超过预设阈值（如缺失率 > 20%），则触发告警并暂停下游模型更新，防止劣质数据污染模型。