3. 数据基础与采集：贷后数据来源与ETL流程设计

贷后预警模型的有效性，高度依赖底层数据的质量、广度与时效性。本章将系统梳理贷后场景的核心数据来源，并设计一套标准化的数据仓库分层与ETL流程，为后续的指标计算与模型训练奠定坚实基础。

3.1 贷后核心数据来源

贷后预警所需的数据可归纳为三大类：内部交易数据、外部征信数据与催收行为数据。下表对比了各类数据的关键特征与用途：

3.2 数据仓库分层设计

为支撑贷后预警的实时计算与历史回溯，建议采用经典的四层数据仓库架构。下图展示了各层之间的数据流转关系：

3.3 ETL流程设计

ETL（Extract, Transform, Load）是数据从源系统进入数据仓库的核心过程。针对贷后预警场景，ETL流程需兼顾批量处理与准实时流处理两种模式。

3.3.1 批量ETL流程（T+1）

适用于征信报告、外部黑名单等更新频率较低的数据源。典型流程如下：

1. 数据抽取（Extract）：每日凌晨通过Sqoop/DataX从源数据库拉取增量数据，或通过API接口获取全量快照。
2. 数据清洗（Transform）：包括空值填充、格式统一、异常值剔除、身份证号脱敏、关联字段校验等。
3. 数据加载（Load）：按分区策略写入ODS层，并触发DWD层的清洗任务。

3.3.2 实时流处理（准实时）

适用于还款流水、催收联系记录等对时效性要求高的数据。采用Kafka + Flink架构：

-- 示例：Flink SQL 定义还款流水实时流
CREATE TABLE repayment_stream (
  loan_id      STRING,
  cust_id      STRING,
  repay_date   TIMESTAMP(3),
  repay_amt    DECIMAL(10,2),
  overdue_days INT,
  proc_time AS PROCTIME()
) WITH (
  'connector' = 'kafka',
  'topic'     = 'repayment_topic',
  'properties.bootstrap.servers' = 'kafka:9092',
  'format'    = 'json'
);

-- 实时计算客户级逾期状态
INSERT INTO dws_cust_overdue_snapshot
SELECT
  cust_id,
  MAX(overdue_days) AS max_overdue_days,
  COUNT(*)          AS repay_cnt,
  SUM(repay_amt)    AS total_repay_amt,
  TUMBLE_END(proc_time, INTERVAL '5' MINUTE) AS window_end
FROM repayment_stream
GROUP BY
  cust_id,
  TUMBLE(proc_time, INTERVAL '5' MINUTE);

3.4 数据质量监控

数据质量是预警模型的“底线”。建议在ETL流程中嵌入以下质量监控规则：

• 完整性检查：关键字段（如贷款编号、客户ID、还款日期）空值率不得超过1%。
• 准确性检查：还款金额不得为负数，逾期天数不得大于合同期限。
• 一致性检查：同一客户在不同系统中的证件号码、手机号必须一致。
• 时效性检查：ODS层数据加载完成时间不得晚于每日上午8:00。

下图展示了ETL流程中数据质量监控的嵌入位置：