📚 课程目录第3章数据源梳理与接入

3. 数据源梳理与接入：内部数据（交易、行为、申请）、外部数据（征信、多头、黑名单）、数据接入的ETL流程

风控模型的质量上限，在数据接入的那一刻就已经决定了。本章聚焦于风控建模中最基础也最关键的环节——数据源的全面梳理与高效接入。我们将系统性地拆解内部数据（交易、行为、申请）与外部数据（征信、多头、黑名单）的核心字段与业务含义，并深入讲解数据接入的ETL流程设计，确保后续样本构建的准确性与时效性。

内部数据是风控建模的基石，通常具有高信噪比、强业务关联性的特点。根据数据产生的阶段，主要分为以下三大类：

数据类别	核心数据源	关键字段示例	风控建模价值
申请数据	用户注册/申请表单、KYC信息	年龄、性别、职业、收入、学历、联系人信息、设备指纹	构建基础画像，识别欺诈风险（如虚假信息、团伙作案）
交易数据	支付流水、转账记录、消费账单	交易金额、交易时间、交易对手、交易类型、商户类别码（MCC）、交易频次	评估还款能力与消费稳定性，识别异常交易模式
行为数据	APP埋点、登录日志、浏览轨迹	登录频次、页面停留时长、点击路径、功能使用深度、操作间隔	刻画用户活跃度与意图，预测流失风险与欺诈倾向

建模提示： 申请数据是“静态截面”，交易数据是“动态流水”，行为数据是“过程日志”。在构建样本时，务必注意三者的时间对齐。例如，使用申请时间点前6个月的交易和行为数据来预测该申请的未来表现。

外部数据是内部数据的有效补充，能够打破信息孤岛，提供更全面的风险视角。在风控建模中，最常用的三类外部数据如下：

征信数据： 来自央行征信中心或百行征信等持牌机构。包含信贷记录、逾期历史、担保信息、查询记录等。是评估用户信用水平的“金标准”。
多头借贷数据： 反映用户在多个平台申请或借贷的记录。核心指标包括“近7天申请平台数”、“当前在贷平台数”、“历史总申请次数”。多头指数是预测逾期风险的高敏感变量。
黑名单数据： 包括法院失信被执行人、网贷逾期黑名单、欺诈团伙名单、设备黑名单等。用于快速拦截高风险用户，是风控策略的第一道防线。

接入避坑： 外部数据接口通常按次计费，且存在延迟。建模时需评估数据新鲜度（T+1还是实时）与成本效益。切勿在训练样本中混入未来数据（如使用建模时间点之后的外部查询记录），否则会导致严重的过拟合。

ETL（Extract, Transform, Load）是数据从源头进入数据仓库或特征存储的标准化过程。一个稳健的ETL流程是风控建模自动化的前提。下图展示了风控数据接入的典型ETL架构：

在实际工程中，ETL的每个环节都有特定的风控建模考量：

Extract（数据提取）：
- 离线批量： 使用Sqoop或DataX从业务库抽取T-1数据，适用于征信、多头等非实时数据。
- 实时流式： 通过Kafka/Flink消费埋点日志，适用于行为数据与交易流水。
- API接入： 调用外部数据供应商接口，需设计重试机制与熔断策略。
Transform（数据转换）：
- 数据清洗： 处理缺失值（如收入字段填充-1）、异常值（如年龄>120视为缺失）、格式统一（如日期转为yyyy-MM-dd）。
- 字段映射： 将不同数据源的相同含义字段统一命名，如“user_id”、“uid”、“customer_no”统一映射为“user_id”。
- 衍生计算： 生成风控建模所需的衍生变量，如“近30天交易总额”、“最大单笔交易金额”、“交易时间间隔标准差”。
Load（数据加载）：
- 分层存储： 原始数据入ODS层，清洗后数据入DWD层，聚合特征入DWS层。
- 分区策略： 按日期分区，便于回溯与增量更新。
- 数据校验： 加载完成后执行行数校验与关键字段空值率监控，确保数据完整性。

实战案例： 某消费金融公司在构建“多头借贷特征”时，发现外部数据接口返回的“查询时间”字段存在时区不一致问题（部分为UTC，部分为东八区）。通过在Transform阶段统一转换为Unix时间戳并做时区校正，避免了特征穿越与样本错配，模型KS值提升了约3个百分点。

数据接入不是一次性工作，需要建立持续的质量监控体系。下表列出了核心监控指标：

通过上述数据源梳理与ETL流程的规范化建设，风控建模团队能够获得高质量、高时效性的数据资产，为后续的样本构建与模型训练打下坚实基础。