4. 数据源梳理：内部数据与外部数据的整合思路
在信用额度定价模型中，样本构建的质量直接决定了LightGBM模型的上限。数据源通常分为内部数据（交易、还款、行为）与外部数据（征信、多头）两大类。本章将系统梳理两类数据的特征维度、整合策略及常见陷阱。
4.1 内部数据：交易、还款与行为
内部数据是金融机构最核心的资产，具有高信噪比、低延迟的特点。以下是三类内部数据的典型字段与用途：
| 数据类别 | 典型字段 | 样本构建用途 | 时间窗口建议 |
|---|---|---|---|
| 交易数据 | 消费金额、消费频次、商户类型、交易时间、交易渠道 | 刻画用户消费能力与稳定性，衍生月均消费、波动率等特征 | 近3-12个月 |
| 还款数据 | 还款金额、还款日期、逾期天数、还款方式（全额/最低） | 构建还款意愿标签（Y变量），计算还款及时率、逾期率 | 近6-24个月 |
| 行为数据 | 登录频次、额度使用率、分期次数、客服咨询次数 | 捕捉用户活跃度与资金紧张信号，用于额度调整决策 | 近1-6个月 |
实操建议：内部数据整合时，务必以用户ID+时间戳为唯一键进行宽表拼接。对于交易数据，建议按周/月粒度做聚合，避免单笔交易噪声干扰模型训练。
4.2 外部数据：征信与多头
外部数据弥补了内部数据的信息盲区，尤其在用户跨机构借贷行为与宏观信用画像方面。以下是两类外部数据的核心差异：
| 数据类别 | 数据来源 | 关键指标 | 更新频率 | 整合难点 |
|---|---|---|---|---|
| 征信数据 | 央行征信、百行征信、朴道征信 | 信贷账户数、逾期记录、查询次数、负债率 | 月更新（T+1） | 授权合规、字段映射、缺失值处理 |
| 多头数据 | 同盾、百融、前海征信等第三方 | 申请次数、放款机构数、共债指数、设备关联数 | 实时/准实时 | 数据标准化、去重、时间窗口对齐 |
合规红线：外部数据必须获得用户明确授权，且数据存储与使用需符合《个人信息保护法》及征信业管理条例。多头数据严禁用于“评分卡”之外的额度定价场景，避免过度授信。
4.3 数据整合架构：从多源到宽表
下图展示了内部数据与外部数据整合为建模宽表的完整流程。该架构采用分层设计，确保数据血缘清晰、可回溯。
4.4 整合关键步骤与避坑指南
数据整合并非简单的“左连接”，以下六个步骤是保证样本质量的关键：
- 时间窗口对齐：内部数据与外部数据的观察时间点必须一致。例如，使用T月的交易数据与T-1月的征信数据，避免未来信息泄露。
- 主键统一：内部数据使用用户ID，外部数据可能使用身份证号或手机号。需建立映射表，确保一对多关系被正确处理（如一个身份证对应多个用户ID时，取最新或最活跃的）。
- 缺失值处理：征信数据中“无记录”与“记录为0”含义不同。建议将“无记录”单独编码为-1或999，保留其信息量。
- 特征去重：内部数据与外部数据可能存在重复信息（如内部逾期天数与征信逾期天数）。保留信噪比更高的特征，或做特征交叉。
- 样本标签定义：Y变量（如“未来3个月是否逾期30天+”）必须基于内部还款数据，外部数据仅用于X特征。
- 数据版本管理：每次整合需记录数据快照时间、特征版本、清洗规则，便于模型回溯与监控。
案例：某消费金融公司在整合多头数据时，发现用户“近7天申请次数”与内部“额度使用率”存在强共线性（相关系数0.78）。最终保留“额度使用率”并剔除多头申请次数，模型AUC提升0.03，且特征重要性分布更合理。
4.5 整合后的数据质量检查清单
在将宽表送入LightGBM之前，建议逐项检查以下指标：
| 检查项 | 合格标准 | 常见问题 |
|---|---|---|
| 缺失率 | 单特征缺失率 < 30% | 征信数据缺失率过高，需评估是否删除该特征 |
| 时间一致性 | 所有特征的时间窗口无未来数据 | 误将T+1的还款数据用于T时刻的特征 |
| 主键唯一性 | 每个用户在每个观察点只有一条记录 | 内部数据与外部数据连接后出现重复行 |
| 特征分布 | 连续特征无极端异常值（超过均值±5σ） | 交易金额字段存在单位错误（元/分混淆） |
| 标签平衡性 | 正样本占比在5%-30%之间 | 逾期标签过少（<1%），需考虑下采样或调整观察期 |
完成上述检查后，即可进入下一阶段：特征筛选与LightGBM参数调优。数据整合的质量，决定了模型上限的80%。