📚 课程目录第1章数据血缘概念入门

1. 数据血缘概念入门

数据血缘（Data Lineage）是指数据从产生、加工、聚合、转换到最终消费的完整生命周期追踪。它记录了数据在系统间、表间、字段间的流动路径、转换规则以及依赖关系。在信用评分模型场景中，数据血缘不仅描述“数据从哪里来”，更精确刻画了“每个模型输入变量经过了哪些衍生计算、质量校验和逻辑映射”。

  核心定义：数据血缘 = 数据流动路径 + 转换逻辑 + 依赖关系 + 影响范围。

信用评分模型对数据质量、可解释性和监管合规有极高要求，数据血缘在以下四个维度发挥关键作用：

维度	具体价值	典型场景
监管合规	满足巴塞尔协议、央行征信管理办法对模型可追溯性的要求	监管检查时快速定位某个评分卡变量的原始数据来源
模型可解释性	清晰展示每个特征变量的加工链路，支撑业务解释	向业务部门解释“收入负债比”字段的完整计算过程
问题排查	数据异常或模型分数偏移时，快速定位根因	评分分布突变后，通过血缘追溯发现某上游源表字段变更
版本管理	支持模型迭代时评估数据变更的影响范围	升级评分卡版本时，自动识别受影响的衍生变量和下游报表

实践提示：在信用评分项目中，数据血缘是模型审计和风险管理的“第一道防线”。没有血缘追踪，模型上线后的任何数据问题都可能演变为系统性风险事件。

传统数据字典和数据血缘虽然都描述数据资产，但关注维度、表达方式和应用场景存在本质差异。下表从六个关键维度进行对比：

常见误区：很多团队认为有了完善的数据字典就等于有了数据血缘。实际上，数据字典只回答了“是什么”，而数据血缘回答了“怎么来、怎么变、影响谁”。两者是互补关系，不能相互替代。

下图展示了一个信用评分模型中，数据从原始征信源到最终评分输出的完整血缘流转路径：

在信用评分实践中，数据血缘通常按以下三个粒度层次进行管理：

表级血缘：记录数据在表之间的流动关系，例如“征信报告表 → 申请主表 → 特征宽表”。适用于数据仓库架构梳理。
字段级血缘：精确到每个字段的映射和转换逻辑，例如“征信报告.逾期天数 → 特征宽表.max_overdue_days”。这是信用评分模型最常用的粒度。
转换级血缘：记录字段经过的具体函数、规则或算法，例如“max_overdue_days = MAX(逾期天数1, 逾期天数2, 逾期天数3)”。用于模型审计和复现。

  最佳实践：信用评分模型的数据血缘至少应达到字段级，关键评分卡变量建议达到转换级。这既能满足监管审计要求，又不会因粒度过细导致维护成本失控。

虽然两者有本质区别，但在实际项目中，数据字典和数据血缘是协同工作的：

在实际信用评分项目中，数据字典提供字段的“身份信息”，数据血缘提供字段的“履历信息”。两者结合才能形成完整的数据资产视图，支撑模型开发、审计和运维全生命周期管理。