3. 数据质量基础：数据质量维度

在金融风控领域，数据是模型与决策的基石。坏账率预测的准确性，直接取决于底层数据的质量。为了系统性地衡量和提升数据质量，业界通常将其拆解为五个核心维度：准确性、完整性、一致性、及时性、唯一性。这五个维度构成了数据质量巡检的“哨兵”体系，任何维度的缺失都可能导致风控模型的误判。

3.1 五维质量模型总览

下表对比了五个维度的定义、风控影响及典型巡检场景，帮助建立全局认知。

3.2 维度深度解析与巡检要点

3.2.1 准确性 (Accuracy)

准确性是数据质量的生命线。在风控场景中，一个错误的收入字段可能导致系统将高风险客户误判为低风险，从而批准一笔本应拒绝的贷款。巡检重点包括：

• 格式校验： 身份证号、手机号、邮箱等是否符合国家标准或行业规范。
• 逻辑校验： 贷款发放日期是否早于申请日期？年龄与出生日期是否矛盾？
• 外部比对： 将内部填写的收入、职业信息与征信报告、社保数据进行交叉验证。

3.2.2 完整性 (Completeness)

完整性关注的是数据“有没有”。缺失值在风控建模中是常见问题，但并非所有缺失都同等重要。巡检需要区分“随机缺失”与“非随机缺失”。

• 必填字段检查： 定义业务核心字段（如客户姓名、身份证号、贷款金额），监控其空值率。
• 关联完整性： 检查事实表中的外键是否能在维度表中找到对应记录（参照完整性）。
• 缺失模式分析： 识别是否存在某些字段同时缺失的“块缺失”模式，这通常指向系统或流程缺陷。

3.2.3 一致性 (Consistency)

一致性确保数据在不同系统、不同时间点“说得通”。在金融企业，客户信息可能同时存在于核心银行系统、信贷审批系统和数据仓库中，任何不一致都会造成混乱。

• 跨系统比对： 对比核心系统与风控系统中同一客户的“客户状态”字段。
• 单位与编码统一： 检查金额单位（元 vs. 分）、日期格式（YYYY-MM-DD vs. YYYY/MM/DD）、枚举值（性别：男/女 vs. M/F）是否一致。
• 逻辑一致性： 例如，贷款余额不应大于贷款总额，还款日期不应晚于当前日期。

3.2.4 及时性 (Timeliness)

在风控领域，时间就是金钱。逾期数据晚到一天，催收的黄金窗口就可能关闭。及时性巡检关注数据流转的时效。

• 数据延迟监控： 定义关键数据从业务发生到进入数据仓库的“SLA”（服务等级协议），例如“T+1 早上 8 点前必须完成”。
• 时间戳校验： 检查数据记录中的“业务时间”与“系统加载时间”的差值。
• 批次作业告警： 监控 ETL（数据抽取、转换、加载）作业的执行时长，对超时作业发出告警。

3.2.5 唯一性 (Uniqueness)

唯一性确保每个业务实体只被记录一次。重复的客户记录是风控的大忌，它会直接导致多头授信、欺诈风险被严重低估。

• 主键唯一性： 检查表的主键（如客户号、合同号）是否存在重复值。
• 业务唯一性： 即使主键不同，但身份证号、手机号等业务唯一标识是否重复？这通常指向潜在的客户合并或数据录入错误。
• 模糊匹配： 对于姓名、地址等非精确字段，使用相似度算法（如编辑距离）检测潜在的重复记录。

3.3 五维关系与巡检优先级

五个维度并非孤立存在，它们之间存在相互影响。例如，及时性问题（数据延迟）可能导致一致性问题（不同系统数据状态不同步）；唯一性问题（重复记录）会破坏准确性（统计指标被重复计算）。

在资源有限的情况下，建议按以下优先级进行巡检：

1. 准确性 & 唯一性： 这是风控的底线，直接决定模型输入是否正确。
2. 完整性： 确保关键字段不缺失，是模型可用的前提。
3. 一致性 & 及时性： 在保证前三个维度的基础上，优化数据流转的效率和统一性。

3.4 数据质量维度关系图

下图展示了五个维度之间的内在联系与相互影响，以及它们如何共同支撑风控决策的可靠性。

3.5 巡检脚本示例：唯一性检查

以下是一个简单的 SQL 巡检脚本，用于检测客户表中身份证号的重复情况，这是唯一性巡检的典型场景。

-- 数据质量巡检：检测客户表身份证号重复
-- 目标表：ods.customer_info
-- 巡检维度：唯一性
-- 告警阈值：重复记录数 > 0

WITH duplicate_check AS (
    SELECT
        id_card_no,
        COUNT(*) AS record_count,
        ARRAY_AGG(customer_id) AS duplicate_ids
    FROM ods.customer_info
    WHERE id_card_no IS NOT NULL
    GROUP BY id_card_no
    HAVING COUNT(*) > 1
)
SELECT
    '唯一性巡检' AS check_name,
    'ods.customer_info' AS table_name,
    'id_card_no' AS check_field,
    COUNT(*) AS duplicate_group_count,
    SUM(record_count) AS total_duplicate_records,
    CURRENT_TIMESTAMP AS check_time
FROM duplicate_check;