3. 数据质量核心概念
在核心银行迁移项目中，数据质量验收不是一句“数据看起来没问题”就能通过的。验收团队必须把“质量”拆解为可定义、可检查、可量化的维度，再为每个维度设定度量指标与阈值。本节聚焦六个核心维度——完整性、准确性、一致性、及时性、唯一性、有效性，并说明如何把它们转化为可执行的度量指标。
一、核心原理：为什么必须拆成六个维度
核心银行系统的数据具有强关联、强约束、强审计的特征。一个客户号背后可能牵连账户、合约、额度、担保、交易流水等多张表。如果只用“对错”来判断，验收时会出现两个问题：一是无法定位问题类型，二是无法量化风险敞口。六个维度本质上是从不同角度对同一批数据发起“体检”：
- 完整性：该有的数据是否缺失，包括字段级空值、记录级缺失、文件级缺行。
- 准确性：数据是否真实反映业务事实，如余额、利率、到期日是否与源系统一致。
- 一致性：同一事实在不同表、不同系统、不同时点是否矛盾，如总账与分户账是否平衡。
- 及时性：数据是否在约定时间窗口内到达并可用，如日终批量是否在开门前完成。
- 唯一性：主键、业务键是否重复，如客户号、账号、合约号是否唯一。
- 有效性：数据是否符合业务规则与格式约束，如币种代码、状态码、日期格式是否合法。
记忆口诀：全、准、一、快、独、合——完整、准确、一致、及时、唯一、有效。验收时按这六字逐项过筛，避免遗漏。
二、方法流程：从维度到度量指标
维度是方向，指标是尺子。每个维度至少需要一个可计算的度量指标，并明确统计口径、采样范围、阈值和责任人。推荐流程如下：
- 定义业务规则：与业务部门确认每个维度的具体约束，例如“客户号必须唯一且非空”。
- 选择度量公式：如完整性率 = 非空记录数 / 应记录总数 × 100%。
- 设定阈值：核心字段通常要求 100%，非核心字段可设 99.9% 并附整改计划。
- 执行核查：通过 SQL、ETL 校验脚本或数据质量平台跑批。
- 输出报告：按维度汇总问题清单、影响范围、严重等级。
- 闭环整改：修复后复跑，直到连续两个批次达标。
下面是一个典型的完整性核查 SQL 片段，用于检查客户主表关键字段的空值率：
SELECT
COUNT(*) AS total_rows,
SUM(CASE WHEN cust_id IS NULL THEN 1 ELSE 0 END) AS null_cust_id,
SUM(CASE WHEN cust_name IS NULL THEN 1 ELSE 0 END) AS null_cust_name,
ROUND(SUM(CASE WHEN cust_id IS NULL THEN 1 ELSE 0 END) * 100.0 / COUNT(*), 4) AS null_rate_pct
FROM ods_customer;三、度量指标清单与阈值示例
下表给出六个维度在核心银行迁移验收中的常用指标、计算口径与建议阈值。实际项目中可根据监管要求和业务重要性调整。
| 维度 | 度量指标 | 计算口径 | 建议阈值 |
|---|---|---|---|
| 完整性 | 关键字段非空率 | 非空记录数 / 应记录总数 | 100% |
| 准确性 | 与源系统比对一致率 | 一致记录数 / 抽样记录数 | ≥ 99.99% |
| 一致性 | 总分平衡差异率 | |总账余额 - 分户账合计| / 总账余额 | 0 |
| 及时性 | 批量完成时间达标率 | 按时完成批次 / 总批次 | ≥ 99% |
| 唯一性 | 主键重复率 | 重复主键数 / 总记录数 | 0 |
| 有效性 | 码值合法率 | 合法码值记录数 / 总记录数 | 100% |
四、案例与场景：一次迁移验收中的维度联动
某银行在核心迁移演练中，发现“贷款合约表”与“还款计划表”的合约号数量不一致。初步排查显示：完整性维度上，还款计划表缺少 37 条合约；唯一性维度上，合约表存在 2 个重复合约号；一致性维度上，两表关联后金额合计相差 120 万元。进一步追溯发现，源系统在抽取时对已结清合约做了过滤，但目标系统未同步该规则。最终整改方案是：在 ETL 中增加“已结清合约补录”逻辑，并对合约号增加唯一索引。复跑后，完整性率恢复 100%，唯一性重复率降为 0，一致性差异归零。
误区提醒：不要只盯一个维度。完整性达标不代表准确性达标；唯一性通过也不代表一致性通过。验收必须六维联查，否则容易在投产后的日终对账中暴露问题。
五、误区复盘与验收要点
- 误区一：把有效性当准确性。格式合法不等于数值正确，利率 3.5% 格式合法，但若应为 3.85% 仍是准确性问题。
- 误区二：及时性只看最终完成时间。应关注关键路径批次，如总账、客户、账户的完成顺序是否满足依赖。
- 误区三：一致性只做总量比对。应下钻到分户、科目、币种、机构层级，避免总量抵消掩盖局部错误。
- 误区四：阈值一刀切。核心字段必须 100%，非核心字段可设容忍度，但需有整改期限和责任人。
验收要点：每个维度都要有“规则—指标—阈值—责任人—整改—复跑”的闭环记录。没有度量指标的维度，等于没有验收。
把六个维度与度量指标固化到验收脚本和报告中，迁移数据质量才能从主观判断走向客观证据。下一阶段，我们将进入数据质量验收的具体工具与执行流程。