3、数据源层血缘追踪：征信数据、第三方数据、内部业务数据的来源标注与字段级血缘

数据源层是信用评分模型血缘追踪的起点。征信数据、第三方数据和内部业务数据在来源、格式、更新频率和语义上差异显著，必须通过字段级血缘标注实现精准溯源。本章聚焦三类数据源的来源标注方法与字段级血缘构建技术。

3.1 三类数据源的特征对比

3.2 征信数据来源标注与字段级血缘

征信数据是信用评分模型最核心的数据源，其字段级血缘追踪需要处理多版本映射和合规脱敏两大挑战。

3.2.1 征信数据来源标注方法

• 来源系统标识：使用统一编码规则，如 CRS_CB_01（央行征信v1.0）、CRS_BH_02（百行征信v2.0）。
• 数据批次标记：记录数据提取时间戳、报告版本号、数据生成日期。
• 合规脱敏标记：标注脱敏算法类型（如SHA-256、AES-128）和脱敏字段列表。

3.2.2 字段级血缘示例：征信报告中的“逾期天数”字段

-- 字段血缘追踪SQL示例（伪代码）
SELECT 
    src.field_name AS 原始字段名,
    src.source_system AS 来源系统,
    src.source_version AS 数据版本,
    src.business_meaning AS 业务含义,
    tgt.field_name AS 目标字段名,
    tgt.transformation_rule AS 转换规则,
    tgt.data_quality_flag AS 质量标记
FROM field_lineage fl
JOIN source_fields src ON fl.source_field_id = src.field_id
JOIN target_fields tgt ON fl.target_field_id = tgt.field_id
WHERE src.field_name = '逾期天数'
  AND src.source_system LIKE 'CRS_%';

3.3 第三方数据来源标注与字段级血缘

第三方数据来源多样，字段级血缘追踪需要解决数据格式异构和字段语义对齐问题。

3.3.1 第三方数据来源标注规范

3.3.2 字段级血缘对齐策略

• 字段映射表：建立第三方数据字段到模型标准字段的映射关系，记录映射规则和置信度。
• 语义对齐：使用业务术语词典统一字段含义，如“月消费金额”统一为“monthly_spending_amount”。
• 质量标记：标注字段缺失率、异常值比例、数据新鲜度。

3.4 内部业务数据来源标注与字段级血缘

内部业务数据通常来自多个系统，字段冗余和口径不一致是血缘追踪的主要挑战。

3.4.1 内部业务数据来源标注方法

• 系统编码：核心系统 INT_CORE、信贷系统 INT_LOAN、反欺诈系统 INT_FRD。
• 业务口径版本：记录口径变更时间、变更原因、审批人。
• 字段冗余标记：标注字段是否冗余、冗余来源、去重规则。

3.4.2 字段级血缘示例：客户收入字段

内部业务系统中“客户收入”字段可能来自多个源头，需要明确血缘路径：

-- 内部业务数据字段血缘追踪示例
字段名：customer_income
来源路径：
  1. INT_CORE.income_verified（核心系统，已核实收入）
  2. INT_LOAN.income_self_reported（信贷系统，自报收入）
  3. INT_FRD.income_estimated（反欺诈系统，估算收入）

血缘规则：
  - 优先级：INT_CORE > INT_LOAN > INT_FRD
  - 当INT_CORE.income_verified不为空时，直接使用
  - 否则使用INT_LOAN.income_self_reported
  - 最后使用INT_FRD.income_estimated
  - 所有来源均空时，标记为缺失

3.5 数据源层字段级血缘架构

下图展示了三类数据源在数据源层的字段级血缘追踪架构，包括来源标注、字段映射和质量标记三个核心环节。

3.6 字段级血缘标注实践清单

在数据源层实施字段级血缘追踪时，建议按以下清单逐项落实：

1. 来源系统注册：为每个数据源分配唯一标识，记录系统名称、版本、接口信息。
2. 字段级映射：建立原始字段到标准字段的映射表，包含映射规则和置信度。
3. 业务含义标注：使用业务术语词典统一字段含义，避免歧义。
4. 质量标记：标注字段缺失率、异常值比例、数据新鲜度等质量指标。
5. 版本管理：记录字段变更历史，包括变更时间、原因和审批人。
6. 血缘关系图：生成字段级血缘关系图，可视化展示数据流转路径。