4. 数据源接入与清洗：内部数据与外部数据的 ETL 实践

贷后预警模型的准确性高度依赖数据质量。本章聚焦于多源异构数据的接入策略与 ETL（Extract, Transform, Load）清洗流程，确保进入预警看板的数据具备一致性、完整性和时效性。

4.1 数据源分类与接入策略

贷后预警所需数据可分为内部与外部两大类，接入方式与更新频率差异显著：

4.2 ETL 清洗核心流程

原始数据无法直接用于预警模型，必须经过标准化清洗。以下为贷后场景下的 ETL 关键步骤：

1. 抽取（Extract）： 按时间戳或增量标记拉取数据，避免全量重复抽取。还款流水按“最后修改时间”增量抽取；征信报告按“查询日期”增量抽取。
2. 转换（Transform）：
   • 字段标准化： 统一日期格式（YYYY-MM-DD）、金额单位（分转元）、枚举值映射（如“逾期1-30天”转为逾期天数数值）。
   • 衍生计算： 计算“距还款日天数”、“连续逾期次数”、“近30天查询征信次数”等预警特征。
   • 数据脱敏： 对身份证号、手机号等敏感字段进行 MD5 或 AES 加密，仅保留业务需要的脱敏标识。
3. 加载（Load）： 将清洗后的数据写入预警数据仓库（DWD 层），按客户 ID 和借据号建立宽表，供模型实时调用。

4.3 数据质量监控与异常处理

ETL 过程中必须嵌入质量监控规则，防止脏数据污染预警模型：

4.4 数据接入与清洗架构总览

以下 SVG 图展示了从多源数据接入到清洗加载的完整链路，以及各环节的监控反馈机制：

4.5 实战：还款流水 ETL 清洗代码示例

以下为使用 PySpark 对还款流水进行清洗的典型代码片段，包含字段标准化、逾期标记和空值处理：

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, when, datediff, current_date, to_date

spark = SparkSession.builder.appName("repayment_etl").getOrCreate()

# 读取原始还款流水
df_raw = spark.read.parquet("hdfs://data/repayment_raw/")

# 清洗逻辑
df_clean = df_raw \
    .filter(col("借据号").isNotNull()) \
    .filter(~col("借据号").startswith("TEST")) \
    .withColumn("应还日期", to_date(col("应还日期"), "yyyyMMdd")) \
    .withColumn("实还日期", to_date(col("实还日期"), "yyyyMMdd")) \
    .withColumn("逾期天数",
        when(col("实还日期").isNull(),
             datediff(current_date(), col("应还日期"))
        ).otherwise(
            when(col("实还日期") > col("应还日期"),
                 datediff(col("实还日期"), col("应还日期"))
            ).otherwise(0)
        )
    ) \
    .withColumn("逾期标记",
        when(col("逾期天数") > 0, 1).otherwise(0)
    ) \
    .withColumn("数据日期", current_date())

# 写入预警宽表
df_clean.write.mode("overwrite").parquet("hdfs://data/dwd/repayment_clean/")

print("ETL 清洗完成，共处理 {} 条记录".format(df_clean.count()))

4.6 数据接入清洗清单（Checklist）

在搭建贷后预警看板前，建议按以下清单逐项确认数据就绪状态：

• ✅ 内部还款流水： 已接入至少 12 个月历史数据，包含借据状态变更记录。
• ✅ 内部行为数据： 已接入客户 APP 登录、设备变更、客服交互等行为日志。
• ✅ 外部征信数据： 已建立征信查询授权机制，字段映射表已完成。
• ✅ 工商司法数据： 已配置每日增量更新任务，覆盖被执行人、行政处罚等关键事件。
• ✅ 黑名单数据： 已对接至少 2 家行业反欺诈数据源，支持实时查询。
• ✅ 质量监控： 已配置完整性、一致性、时效性告警规则，并设置通知渠道。