4、ETL过程血缘解析：抽取、转换、加载过程中的字段映射关系与转换逻辑记录

在信用评分模型的数据管道中，ETL（Extract, Transform, Load）是数据血缘追踪最密集、最复杂的环节。每一笔原始数据从源系统流出，经过字段映射、类型转换、业务规则清洗、衍生变量计算，最终形成建模宽表，期间可能经历数十次字段级变换。本章聚焦于如何在ETL过程中系统化地记录字段映射关系与转换逻辑，构建可追溯、可审计的血缘链路。

4.1 ETL血缘解析的核心挑战

信用评分建模的ETL过程通常涉及多个异构数据源（核心系统、征信机构、第三方数据平台），且转换逻辑包含大量业务规则与统计聚合。血缘解析面临以下三大挑战：

• 字段级映射断裂：源字段到目标字段的对应关系散落在SQL脚本、存储过程或ETL工具配置中，缺乏统一记录。
• 转换逻辑黑盒：衍生变量（如“近6个月逾期次数”）的计算规则未显式声明，导致模型上线后难以排查数据异常。
• 多版本兼容：ETL脚本随模型迭代频繁修改，历史版本的血缘信息容易丢失。

4.2 字段映射关系的结构化记录

字段映射是ETL血缘的基础单元。每一条映射记录应包含源字段、目标字段、转换类型、转换规则及生效版本。推荐使用以下表格结构进行元数据管理：

4.3 转换逻辑的细粒度记录

转换逻辑记录比字段映射更复杂，需要同时描述“做了什么”和“为什么这么做”。建议将转换逻辑分为以下三类进行记录：

1. 清洗转换：处理空值、异常值、格式标准化。例如：COALESCE(income, 0) 或 UPPER(TRIM(name))。
2. 业务规则转换：基于领域知识的条件判断。例如：将“年龄 < 18”标记为“拒绝入模”。
3. 统计聚合转换：窗口函数、分组汇总。例如：AVG(amount) OVER (PARTITION BY cust_id ORDER BY date ROWS BETWEEN 6 PRECEDING AND 1 PRECEDING)。

以下是一个典型的转换逻辑记录示例（JSON格式，存储在血缘元数据表中）：

{
  "transform_id": "T001",
  "target_field": "overdue_flag_6m",
  "source_fields": ["max_overdue_days"],
  "transform_type": "条件转换",
  "transform_expression": "CASE WHEN max_overdue_days > 0 THEN 1 ELSE 0 END",
  "business_rule": "近6个月存在逾期记录则标记为1",
  "etl_job": "JOB_DM_001",
  "version": "v2.1",
  "effective_date": "2025-01-01"
}

4.4 ETL血缘链路可视化

为了直观展示字段从源到目标的完整流转路径，建议构建ETL血缘链路图。下图以信用评分建模中“逾期标志”字段为例，展示其从征信源系统到建模宽表的完整血缘链路：

4.5 转换逻辑的版本化与审计

信用评分模型上线后，ETL脚本的每一次变更都可能影响模型输出。因此，转换逻辑必须与模型版本绑定，并支持历史回溯。推荐采用以下版本化管理策略：

• 版本号关联：每条转换逻辑记录携带 model_version 字段，与模型训练版本一一对应。
• 变更日志：记录每次修改的操作人、时间、变更原因及前后对比。
• 回滚能力：基于版本号可快速还原指定模型版本对应的ETL脚本与转换规则。

4.6 自动化血缘采集工具链

为降低人工记录成本，建议在ETL开发流程中嵌入自动化血缘采集工具。以下是一个轻量级工具链的推荐架构：

4.7 本章小结

ETL过程的血缘解析是信用评分模型数据治理的基石。通过系统化记录字段映射关系与转换逻辑，并辅以版本化管理和自动化采集工具，数据团队能够实现：

• 快速定位：模型异常时，30分钟内定位到具体ETL环节与字段。
• 合规审计：满足监管对数据来源与转换过程的追溯要求。
• 模型复现：基于血缘记录可完整复现任意历史版本的建模数据。