3、数据基础：常用数据源、数据字段、数据质量与清洗
多头借贷识别与共债风险分析的根基在于数据。如果数据源覆盖不全、字段定义混乱、质量参差不齐，后续任何模型与规则都如同建立在流沙之上。本章聚焦三类核心问题：数据从哪里来（数据源）、数据长什么样（字段体系）、数据能否直接用（质量与清洗）。我们将从信贷业务实战视角，梳理人行征信、百行/朴道征信、第三方数据源、自有业务数据及关联网络数据的特征与适用场景，并给出可落地的数据质量评估框架与清洗流程。
3.1 常用数据源：覆盖度与合规边界
核心原理：多头借贷识别的数据源可分为四类，每类在覆盖度、时效性、合规要求上差异显著。单一数据源无法完整刻画借款人的共债全貌，必须多源融合。
| 数据源类型 | 典型提供方 | 核心字段 | 优势 | 局限 |
|---|---|---|---|---|
| 人行征信 | 中国人民银行征信中心 | 信贷记录、查询记录、逾期明细、担保记录 | 权威性最高、覆盖银行及持牌机构 | 非银机构数据缺失、更新T+1~T+3 |
| 百行/朴道征信 | 百行征信、朴道征信 | 网贷记录、消费金融记录、多头借贷指数 | 补充非银数据、覆盖互联网借贷 | 数据标准不一、部分机构报送不全 |
| 第三方数据源 | 同盾、白骑士、中智诚等 | 多头申请记录、设备指纹、关联黑名单 | 实时性强、维度丰富 | 合规风险需评估、数据质量参差 |
| 自有业务数据 | 本机构历史借贷记录 | 历史借还款、逾期、提前结清、复借行为 | 最贴合自身客群、无合规障碍 | 仅覆盖存量客户、新客无数据 |
3.2 核心数据字段：从原始字段到衍生特征
字段分类与业务含义：多头借贷分析所需字段可归纳为五类，每类字段直接决定后续特征工程的方向。
- 身份标识字段：身份证号、姓名、手机号、设备ID。用于跨源匹配，需重点关注匹配准确率。
- 借贷行为字段：借款金额、借款期限、放款机构、放款日期、还款方式。这是判断多头借贷的核心。
- 额度与余额字段：授信总额度、已用额度、剩余额度、循环贷额度。用于计算共债余额。
- 逾期与查询字段：逾期天数、逾期金额、近3个月查询次数、查询机构数。查询次数是“硬指标”。
- 关联关系字段：紧急联系人、同设备关联账号、同IP关联申请。用于识别“隐性共债”。
3.3 数据质量评估：五维检查法
操作流程：数据质量评估应在建模前完成，形成书面报告。推荐使用“五维检查法”：
- 完整性：检查关键字段缺失率。身份证号缺失率＞2%时需排查数据接入链路。
- 准确性：抽样比对原始报文与数据库存储值，验证身份证号校验位、日期逻辑。
- 一致性：同一借款人在不同数据源中的姓名、身份证号是否一致；额度单位是否统一（元/万元）。
- 时效性：检查数据更新时间戳，人行征信T+1、第三方实时数据延迟应＜1小时。
- 唯一性：同一笔借贷记录是否重复存储，同一借款人在同一机构是否有重复授信记录。
| 质量维度 | 检查方法 | 通过标准 | 常见问题 |
|---|---|---|---|
| 完整性 | SQL统计NULL率 | 关键字段缺失率≤5% | 手机号缺失、机构名称缺失 |
| 准确性 | 正则校验+抽样比对 | 身份证校验通过率≥98% | 身份证号录入错误、姓名含生僻字 |
| 一致性 | 跨源字段比对 | 同一借款人匹配率≥95% | 姓名简繁体不一致、额度单位混乱 |
| 时效性 | 检查etl_time | 延迟≤24小时 | 部分机构月报、季报导致滞后 |
| 唯一性 | 分组计数 | 重复率≤1% | 同一笔借贷被多个源重复上报 |
3.4 数据清洗实战：从原始报文到可用特征
案例背景：某消费金融公司接入人行征信与百行征信数据，用于构建多头借贷识别模型。初始数据量约500万条借贷记录，但建模时发现数据质量存在明显问题。
初始现象：
- 身份证号缺失率3.2%，其中约1.1%为15位旧号未转换。
- 借款金额字段中混有“10万”、“100000.0”、“1e5”三种格式。
- 同一借款人在人行征信显示“已结清”，但在百行征信仍显示“在贷”，时间口径不一致。
- 近3个月查询次数字段存在重复计数（同一机构同一天查询多次被重复记录）。
清洗操作步骤：
- 身份归一：将15位身份证号统一转为18位，校验位错误则标记为“待人工核查”。
- 金额标准化：统一转为“元”为单位，去除“万”后缀，科学计数法转为浮点数。
- 时间口径对齐：以“放款日期”为准，将“在贷/结清”状态统一为“截至当前日期”的实时状态。
- 查询次数去重：同一机构、同一借款人、同一天内多次查询仅计1次。
- 缺失值处理：手机号缺失用设备ID关联补充；机构名称缺失用“未知机构”填充并单独标记。
结果对比：清洗后，身份匹配率从92%提升至98.5%，查询次数指标与人工复核结果一致性从85%提升至96%。模型训练AUC从0.71提升至0.78。
3.5 常见误区与总结复盘
误区一：认为数据源越多越好。实际上，数据源增加会带来字段冲突、匹配难度上升、合规成本增加。建议优先保证人行征信+自有数据的质量，再逐步扩展。
误区二：忽略“查询次数”与“实际借贷次数”的区别。部分借款人因利率比价频繁查询但未借款，需结合“放款机构数”综合判断。
误区三：清洗时过度处理。例如将“逾期30天”强行修正为“逾期0天”，会破坏数据真实性。清洗应修正格式错误，而非篡改业务事实。
总结复盘：数据基础工作的核心目标是建立“干净、一致、可追溯”的多头借贷数据集。建议建立数据质量监控看板，每日跟踪关键指标（完整率、匹配率、重复率），并设置告警阈值。数据清洗不是一次性工作，而是伴随业务发展持续迭代的过程。