3、数据源层血缘解析：原始数据源（征信、交易、社交等）的识别与标注、数据源字段级血缘建模、数据源变更对下游的影响分析
数据源层是信用评分特征血缘的起点。征信、交易、社交等原始数据源在接入时往往缺乏统一的元数据登记，导致下游特征计算依赖模糊、变更影响范围难以评估。本节围绕数据源层的血缘解析，从数据源识别与标注、字段级血缘建模、变更影响分析三个维度展开，建立从原始数据源到特征工程入口的完整追溯能力。
3.1 原始数据源的识别与标注
信用评分模型通常依赖三类数据源：
| 数据源类型 | 典型来源 | 数据特征 | 血缘标注要点 |
|---|---|---|---|
| 征信数据 | 央行征信、百行征信、朴道征信 | 结构化强、更新周期固定、字段定义严格 | 标注数据源版本、接口字段映射、历史快照标识 |
| 交易数据 | 银行流水、支付平台、电商订单 | 高频、时序性强、存在多币种/多渠道 | 标注交易类型分类、时间窗口粒度、聚合规则 |
| 社交与行为数据 | 运营商、设备指纹、APP行为埋点 | 非结构化、噪声大、隐私合规要求高 | 标注脱敏规则、特征衍生层级、合规授权标识 |
实践要点：数据源标注应包含数据源ID、接入时间、数据源版本、字段字典版本、合规授权范围五个核心属性，确保血缘追溯时能定位到具体的数据源快照。
3.2 数据源字段级血缘建模
字段级血缘建模是数据源层血缘解析的核心。它记录每个原始字段如何被抽取、转换、映射到特征工程中的中间字段或最终特征。建模过程分为三个步骤：
- 字段注册：将数据源中的每个字段注册到血缘元数据中心，记录字段名、数据类型、业务含义、枚举值范围。
- 映射关系建立：记录字段之间的直接映射、函数转换、条件分支等血缘关系。
- 依赖链构建：将字段级关系串联成从数据源到特征的完整依赖链。
字段级血缘建模示例：征信数据源中的“逾期天数”字段经过“逾期天数 > 30 → 标记为M2”的规则转换后，成为特征“M2标识”。血缘建模需记录该转换规则、规则版本、生效时间。
以下SVG图展示了从三个数据源到特征字段的字段级血缘建模结构：
3.3 数据源变更对下游的影响分析
数据源变更是信用评分特征血缘管理中最常见的风险场景。变更类型包括：
- 字段新增/删除：新增字段需评估下游特征是否依赖；删除字段需立即阻断依赖链。
- 字段语义变更：如“逾期天数”从自然日变为工作日，需追溯所有使用该字段的特征。
- 数据源版本升级：接口字段映射关系变化，需重新验证特征计算逻辑。
- 数据源下线：需提前识别所有依赖该数据源的特征，制定迁移或替代方案。
风险提示：数据源变更未做血缘影响分析，可能导致特征计算错误、模型评分偏移、甚至合规风险。建议在数据源变更流程中强制加入“血缘影响分析”审批节点。
以下SVG图展示了数据源变更影响分析的完整流程：
3.4 数据源血缘解析的工程化落地
在实际工程中，数据源层血缘解析通常通过以下方式落地：
| 工程组件 | 职责 | 关键技术 |
|---|---|---|
| 元数据采集器 | 从数据源接口、数据库、文件系统中抽取字段元数据 | JDBC/API扫描、Schema解析、数据字典导入 |
| 血缘解析引擎 | 解析ETL脚本、SQL语句、特征计算代码中的字段依赖 | SQL Parser、AST分析、正则匹配 |
| 血缘存储与查询 | 存储字段级血缘关系，支持上游追溯和下游影响查询 | 图数据库(Neo4j)、关系型元数据表 |
| 变更影响分析器 | 接收数据源变更事件，自动计算影响范围并生成报告 | 事件驱动、图遍历算法、影响等级评分 |
最佳实践：建议在数据源接入阶段即完成字段级血缘注册，避免事后补录导致的遗漏。对于已存量的数据源，可通过SQL解析和ETL脚本逆向工程自动生成初始血缘关系，再经人工审核确认。