2. 金融数据治理基础
在金融行业,数据治理不是IT部门的内部工程,而是监管合规、风险控制和业务决策的共同底座。无论是巴塞尔协议下的风险加权资产计量,还是人民银行、金融监管总局对数据报送准确性的要求,都指向同一个事实:数据不可信,则模型不可信,合规结论也不可信。本节从治理框架、数据质量、元数据管理和数据血缘四个维度,建立后续血缘追踪实战的概念基础。
一、核心原理:四层治理结构如何咬合
金融数据治理通常可以拆解为四个相互咬合的层次。第一层是治理框架,回答“谁决策、谁执行、谁监督”,包括数据治理委员会、数据所有者、数据管家和数据生产团队。第二层是数据质量,回答“数据是否可用”,通过完整性、准确性、一致性、及时性、唯一性和有效性六个维度进行度量。第三层是元数据管理,回答“数据是什么、在哪里、谁负责”,分为技术元数据、业务元数据和管理元数据。第四层是数据血缘,回答“数据从哪来、经过什么加工、流向哪里”,是连接前三层的动态纽带。
二、方法流程:数据质量与元数据的落地步骤
数据质量治理不是一次性清洗,而是持续运营。典型流程包括:定义质量规则、配置检核任务、执行检核、生成质量报告、触发整改工单、跟踪闭环。以客户信息表为例,可以配置如下检核规则:
规则ID: DQ-CUST-001
规则名称: 客户证件号非空且格式合规
检核对象: dwd_customer_info.id_number
规则类型: 完整性 + 有效性
检核SQL:
SELECT COUNT(*) AS fail_cnt
FROM dwd_customer_info
WHERE id_number IS NULL
OR LENGTH(TRIM(id_number)) NOT IN (15, 18);
阈值: fail_cnt = 0
调度: 每日 06:00
告警: 企业微信 + 邮件
元数据管理则强调“采集—注册—关联—消费”四步。技术元数据通过采集器从数据库、调度平台、BI工具自动抽取;业务元数据由数据管家手工维护或从指标平台同步;管理元数据与组织架构、权限系统对接。三者通过统一资产ID关联,形成可检索的数据目录。
三、案例场景:数据血缘在金融合规中的实际作用
某银行在监管报送中发现“资本充足率”指标异常。传统排查方式需要逐层询问开发人员,耗时数天。引入数据血缘后,可以快速定位:该指标来源于风险加权资产表,风险加权资产又依赖信贷台账和押品估值表,而押品估值表的上游是外部房价数据接口。进一步检查发现,该接口某日数据延迟,导致估值未更新,最终影响资本充足率计算。
| 治理维度 | 合规问题 | 血缘追踪价值 |
|---|---|---|
| 数据质量 | 报送数据字段缺失或口径不一致 | 定位问题字段的上游来源和加工逻辑 |
| 元数据 | 指标定义变更未同步下游 | 识别受影响的报表、模型和接口 |
| 数据血缘 | 监管问询数据来源和计算过程 | 提供端到端可追溯的证据链 |
| 治理框架 | 数据问题责任不清、整改推诿 | 结合责任人元数据明确整改归属 |
四、误区与复盘
复盘建议:先从监管报送、风险计量、反洗钱等强合规场景切入,建立字段级血缘的最小闭环;再逐步扩展到全行数据资产。每一条血缘边都应携带加工逻辑、责任人和更新时间,否则血缘会迅速腐化。数据治理的终点不是“有图”,而是“图可信、可查、可追责”。