2. 金融数据基础

在进入规则体系与验收实战之前,必须先建立对“金融数据”本身的共同认知。很多数据质量问题的根因,并不是规则写得不好,而是团队对数据分类、来源特征、生命周期阶段和质量维度缺乏统一语言。本节从四个基础面展开:金融数据分类、常见数据源、数据生命周期、数据质量定义与维度,为后续规则设计提供坐标系。

一、核心原理:金融数据的四层认知框架

金融数据不是单一对象,而是一个多维结构。理解它需要同时回答四个问题:它是什么类型、它从哪里来、它处于哪个生命周期阶段、它应该满足哪些质量维度。这四个问题分别对应分类、来源、生命周期和质量维度,构成金融数据治理的基础框架。

分类决定了数据的敏感级别与合规要求;来源决定了数据的采集方式与可信度;生命周期决定了不同阶段的质量控制重点;质量维度则决定了规则的具体检查方向。四者相互关联,缺一不可。

金融数据四层认知框架 数据分类 敏感级别 · 合规要求 数据来源 采集方式 · 可信度 生命周期 阶段 · 控制重点 质量维度 规则 · 检查方向 分类维度示例 • 按业务属性:客户数据 / 交易数据 / 产品数据 / 市场数据 / 风控数据 • 按敏感程度:公开数据 / 内部数据 / 敏感数据 / 核心数据 • 按结构形态:结构化数据 / 半结构化数据 / 非结构化数据 • 按时效特征:实时数据 / 准实时数据 / 批量数据 / 历史归档数据 质量维度核心检查方向 • 完整性:字段是否缺失、记录是否遗漏 • 准确性:数值是否正确、与真实值偏差是否可接受 • 一致性:跨系统、跨表、跨字段是否矛盾 • 及时性:数据到达与更新是否满足时效要求

二、金融数据分类与常见数据源

金融数据分类没有唯一标准,但实践中通常从业务属性、敏感程度、结构形态和时效特征四个角度交叉划分。业务属性分类最常用,直接对应后续规则设计:客户数据关注身份真实性与完整性,交易数据关注金额准确性与时序一致性,市场数据关注行情及时性与精度,风控数据关注指标口径与阈值合规性。

常见数据源可分为内部与外部两大类。内部数据源包括核心业务系统、数据仓库、数据湖、日志平台和手工台账;外部数据源包括监管报送接口、征信机构、行情供应商、第三方数据服务和公开数据。不同来源的数据在可信度、更新频率、格式规范和合规约束上差异显著,规则设计时必须区别对待。

数据源类型 典型示例 质量风险重点 规则设计要点
核心业务系统 客户管理、交易系统 字段缺失、状态不一致 强校验、跨表一致性
数据仓库/湖 ODS、DW、Data Lake 口径偏差、重复记录 主键唯一、口径映射
外部征信 征信报告、评分数据 更新延迟、匹配失败 时效监控、匹配率阈值
行情供应商 股票、汇率、利率 跳点、时间戳错位 波动率检测、时序对齐
手工台账 Excel、邮件附件 格式混乱、人为错误 模板校验、二次复核

三、数据生命周期与质量控制的阶段重点

数据生命周期通常划分为六个阶段:采集、传输、存储、加工、使用、归档与销毁。每个阶段的质量控制重点不同,规则体系也应分层设计。

  1. 采集阶段:重点检查数据是否完整到达、格式是否符合约定、来源是否可信。常见规则包括必填字段非空、文件行数与记录数一致、接口返回码正常。
  2. 传输阶段:重点检查传输过程中是否丢失、重复或篡改。常见规则包括批次号唯一、传输时间戳连续、加密校验通过。
  3. 存储阶段:重点检查主键唯一性、分区完整性、存储格式一致性。常见规则包括主键重复检测、分区缺失告警、字段类型匹配。
  4. 加工阶段:重点检查计算逻辑正确性、口径一致性、衍生指标可追溯。常见规则包括汇总值等于明细之和、同比环比计算正确、指标口径与定义一致。
  5. 使用阶段:重点检查数据是否满足业务场景的时效与精度要求。常见规则包括报表按时生成、查询响应在阈值内、权限控制有效。
  6. 归档与销毁阶段:重点检查归档完整性、保留期限合规、销毁不可恢复。常见规则包括归档记录数匹配、保留期超限告警、销毁审批留痕。
生命周期视角的价值在于:同一份数据在不同阶段暴露的质量问题不同,规则不能只盯着“入库后”检查。采集阶段的缺失往往在加工阶段才被发现,但根因在源头。规则体系应覆盖全链路,而不是只做末端校验。

四、数据质量定义与核心维度

数据质量通常定义为“数据满足明确或隐含需求的程度”。在金融场景中,这个定义需要进一步操作化,转化为可检查、可度量、可验收的维度。业界常用维度包括完整性、准确性、一致性、及时性、唯一性、有效性和合规性。

完整性关注“该有的有没有”,准确性关注“对不对”,一致性关注“矛不矛盾”,及时性关注“来不来得及”,唯一性关注“重不重复”,有效性关注“格式和值域是否合法”,合规性关注“是否符合监管与内部制度”。这些维度不是孤立的,一个字段可能同时涉及多个维度,规则设计时需要明确优先级和冲突处理策略。

常见误区:把“数据质量”等同于“数据准确”。实际上,完整性缺失、一致性冲突、及时性延迟在金融场景中往往比数值偏差影响更大。例如客户风险等级字段缺失,可能导致适当性管理失效;交易时间戳不一致,可能导致对账失败。规则体系必须覆盖多维度,而不是只做数值校验。

五、案例与复盘:从分类到规则的落地路径

某银行在建设客户数据质量规则时,最初只按“字段是否为空”设计规则,上线后发现大量问题集中在跨系统客户状态不一致和风险等级更新延迟。复盘后发现,根因是分类时没有区分“客户基础数据”和“客户风险数据”,来源上也没有区分核心系统与外部征信的更新节奏差异。

调整后的做法是:先按业务属性将客户数据分为基础信息、联系信息、风险信息、关系信息四类;再按来源标注核心系统、征信接口、手工补录三种来源;然后针对不同生命周期阶段设计规则。例如风险信息在采集阶段检查征信接口返回完整性,在加工阶段检查风险等级映射一致性,在使用阶段检查更新时效是否超过T+1。调整后,规则命中率提升,误报率下降。

规则示例:客户风险等级更新时效检查
检查对象:客户风险信息表
生命周期阶段:使用阶段
质量维度:及时性
规则逻辑:
  当前日期 - 风险等级更新日期 <= 1个自然日
  且 风险等级来源 = '征信接口'
异常处理:
  超过1个自然日 → 告警
  超过3个自然日 → 阻断下游适当性评估

这个案例说明,分类、来源、生命周期和质量维度不是理论摆设,而是规则设计的输入条件。只有先把数据对象看清楚,规则才能写得准、验得实。

本节的核心结论:金融数据质量规则体系必须建立在对数据分类、来源、生命周期和质量维度的系统认知之上。分类决定规则范围,来源决定规则强度,生命周期决定规则位置,质量维度决定规则方向。四者对齐,规则体系才有根基。