3、数据血缘基础
3.1 数据血缘定义
数据血缘（Data Lineage）是指数据从产生、加工、流转到最终消亡的完整生命周期追踪记录。它描述了数据在系统间、表间、字段间的来源、变换路径与依赖关系，形成一张有向无环图（DAG）。
核心定义：数据血缘 = 数据来源 + 变换过程 + 去向终点 + 依赖关系。
在反欺诈图谱场景中，数据血缘不仅记录“数据从哪里来”，更记录“数据经过哪些特征工程、规则引擎、模型推理后，最终形成图谱节点与边”。
3.2 为什么在反欺诈中需要血缘
反欺诈系统对数据质量、可追溯性与审计合规有极高要求。数据血缘在以下四个维度提供关键支撑：
| 维度 | 反欺诈痛点 | 数据血缘解决方案 |
|---|---|---|
| 溯源定责 | 欺诈事件发生后，无法快速定位是哪个数据源或特征导致误判 | 沿血缘链路反向追溯，精准定位异常数据源头与变换步骤 |
| 特征可信度 | 图谱特征（如设备指纹、关系强度）来源不明，不敢直接用于模型 | 展示每个特征的完整加工链路，提升特征可解释性与信任度 |
| 合规审计 | 监管要求证明反欺诈决策所用数据合法、可追溯 | 提供不可篡改的血缘记录，满足 GDPR/《个人信息保护法》审计要求 |
| 变更影响分析 | 上游表结构变更导致下游图谱产出异常，排查耗时数天 | 血缘图自动展示受影响的下游任务与字段，分钟级完成影响面评估 |
实战经验：某头部支付机构在接入数据血缘后，反欺诈特征异常排查时间从平均 4 小时缩短至 15 分钟，合规审计准备时间从 2 周降至 1 天。
3.3 血缘的粒度：表级与字段级
数据血缘按记录精细程度分为两个主要粒度，在反欺诈图谱场景中各有用途：
| 粒度 | 记录内容 | 反欺诈场景示例 | 适用阶段 |
|---|---|---|---|
| 表级血缘 | 表与表之间的依赖关系（输入表 → 输出表） | 交易流水表 → 设备指纹表 → 图谱节点表 | 数据链路概览、任务调度依赖 |
| 字段级血缘 | 字段与字段之间的映射、变换、聚合关系 | 交易金额字段 → 归一化金额字段 → 图边权重字段 | 特征溯源、模型可解释性、问题定位 |
在反欺诈图谱数据血缘中，字段级血缘是核心关注点。因为一个欺诈特征（如“设备关联账户数”）往往经过多步聚合、过滤、归一化，只有字段级血缘才能完整还原其生成逻辑。
3.4 血缘粒度选择策略
在反欺诈图谱项目中，不同场景应选择不同血缘粒度：
- 日常运维与调度监控：使用表级血缘，快速掌握任务依赖与链路健康度。
- 特征开发与调试：使用字段级血缘，验证每个特征的加工逻辑是否正确。
- 欺诈事件复盘：从字段级血缘入手，沿链路反向定位异常数据源头。
- 合规审计报告：同时提供表级与字段级血缘，满足不同审计粒度的要求。
注意：字段级血缘的采集与存储成本远高于表级血缘。在 Spark 回放场景中，建议对核心反欺诈特征启用字段级血缘，对辅助特征使用表级血缘，实现成本与价值的平衡。