3. 数据基础：内部数据与外部数据的整合
在风险定价（Risk-based Pricing）模型中，人群划分的精度直接取决于数据源的广度与质量。单一维度的数据（如仅依赖征信报告）往往导致风险区分度不足，尤其在“薄征信”或“白户”群体中表现尤为明显。本章系统梳理内部数据（征信、交易、行为）与外部数据（社保、税务、替代数据）的整合策略，为后续风险分群与定价模型提供坚实的数据底座。
3.1 内部数据：核心风险画像的基石
内部数据通常指金融机构在业务过程中直接产生或通过授权获取的客户信息，具有高信噪比、强关联性的特点。主要包括以下三类：
| 数据类别 | 典型字段 | 风险定价价值 |
|---|---|---|
| 征信数据 | 信贷历史、逾期记录、查询次数、负债率（DTI） | 直接反映还款意愿与能力，是违约概率（PD）建模的核心变量 |
| 交易数据 | 账户流水、消费金额、转账频次、收入稳定性 | 刻画现金流健康度，识别收入波动与异常交易模式 |
| 行为数据 | 登录频次、页面停留时长、申请渠道、设备指纹 | 捕捉欺诈信号与用户活跃度，辅助判断还款意愿 |
关键原则：内部数据应作为风险定价模型的“锚点”。在整合外部数据前，必须先完成内部数据的清洗、去重与特征工程，确保基础变量无系统性偏差。
3.2 外部数据：风险维度的扩展与补充
外部数据能够有效弥补内部数据的盲区，尤其在以下场景中价值显著：新客准入、自雇人士评估、跨机构多头借贷识别。常见外部数据源包括：
- 社保与公积金数据：验证工作单位真实性、连续缴纳时长、缴费基数（推算收入水平）。适用于工薪阶层人群的收入稳定性评估。
- 税务数据：个人所得税申报记录、企业纳税评级。对于自雇人士或小微企业主，税务数据是比银行流水更可靠的收入佐证。
- 替代数据（Alternative Data）：包括水电煤缴费记录、电商消费记录、手机话费充值、出行记录等。这类数据对“薄征信”人群（如年轻群体、蓝领工人）的风险区分度提升尤为明显。
实践提示：替代数据虽然覆盖面广，但信噪比通常低于征信数据。建议在模型中将替代数据作为“弱特征”使用，通过集成学习或特征交叉增强其预测能力，避免直接作为强规则使用。
3.3 数据整合架构：从多源异构到统一特征空间
数据整合并非简单的字段拼接，而是需要解决身份匹配、时间对齐、粒度统一三大核心问题。下图展示了典型的数据整合流程：
3.4 特征工程与缺失值处理策略
数据整合完成后，特征工程是决定模型上限的关键步骤。针对不同数据源，推荐以下处理策略：
- 征信类特征：保留原始评分（如征信分），同时衍生“近6个月查询次数变化率”、“最大逾期天数”等趋势类变量。
- 交易类特征：计算月度收入中位数、支出波动系数（CV）、夜间交易占比等行为模式变量。
- 外部替代数据：对缺失率高于 70% 的变量直接剔除；对缺失率在 30%-70% 的变量，采用“缺失指示变量 + 中位数填充”的组合策略。
风险警示：外部数据通常存在“选择性偏差”——愿意授权社保/税务数据的客户，其风险水平可能系统性低于拒绝授权的客户。在模型训练时，必须引入样本选择校正（如 Heckman 两步法）或使用拒绝推断（Reject Inference）技术，否则模型在线上应用时会出现严重的预测偏移。
3.5 数据整合的常见陷阱与避坑指南
| 陷阱 | 表现 | 解决方案 |
|---|---|---|
| 时间错位 | 用当前的外部数据预测过去的违约行为 | 严格按“观察点”对齐所有特征的时间戳，避免未来信息泄露 |
| 过度拟合替代数据 | 替代数据在训练集上 AUC 极高，但线上失效 | 对替代数据特征进行降维（PCA/自编码器），或使用正则化较强的模型 |
| 身份匹配失败 | 同一客户在不同数据源中的 ID 无法关联 | 建立多层匹配规则：身份证号 → 手机号 → 设备指纹 → 模糊匹配 |
| 忽略数据合规性 | 未经授权使用外部数据，违反《个人信息保护法》 | 建立数据分级授权体系，确保每项外部数据都有明确的用户授权记录 |
3.6 整合后的数据质量评估
在将整合后的数据送入模型之前，建议从以下四个维度进行质量评估：
- 完整性：每个风险分群的关键变量缺失率是否低于 20%？
- 一致性：同一客户在不同数据源中的收入信息是否在合理误差范围内（如 ±20%）？
- 时效性：外部数据（如社保缴纳记录）是否在最近 3 个月内更新？
- 区分度：每个特征在“好客户”与“坏客户”之间的 KS 统计量是否显著（通常要求 KS > 0.1）？
最佳实践：建议在数据整合完成后，构建一个“数据质量看板”，每日监控关键特征的分布漂移（PSI）与缺失率变化。一旦发现某个外部数据源的质量持续下降，应自动触发降权或剔除机制，避免模型被“脏数据”污染。