3. SQL质量监控指标体系：完整性、准确性、一致性、及时性、唯一性、关联性六大指标详解

在风控数据仓库与报表体系中，SQL 查询的质量直接决定了风控策略的有效性与决策的准确性。本章将系统讲解六大核心质量监控指标——完整性、准确性、一致性、及时性、唯一性、关联性，帮助您建立可量化、可监控的 SQL 质量评估框架。

3.1 六大指标全景图

下图展示了六大质量指标在风控数据 SQL 生命周期中的位置与关系：

3.2 完整性（Completeness）

完整性衡量数据是否缺失，即 SQL 查询结果是否包含了所有应该包含的记录和字段。在风控场景中，数据缺失可能导致误判或漏判。

3.2.1 监控维度

3.2.2 监控 SQL 示例

-- 检查记录完整性：对比源表与目标表行数
SELECT 
    '源表' AS 数据源,
    COUNT(*) AS 记录数,
    CURRENT_DATE AS 检查日期
FROM source.risk_blacklist
UNION ALL
SELECT 
    '目标表' AS 数据源,
    COUNT(*) AS 记录数,
    CURRENT_DATE AS 检查日期
FROM dwd.risk_blacklist_di;

-- 检查字段完整性：统计关键字段空值率
SELECT 
    COUNT(*) AS 总记录数,
    SUM(CASE WHEN id_card IS NULL OR TRIM(id_card) = '' THEN 1 ELSE 0 END) AS 身份证空值数,
    ROUND(100.0 * SUM(CASE WHEN id_card IS NULL OR TRIM(id_card) = '' THEN 1 ELSE 0 END) / COUNT(*), 2) AS 空值率
FROM dwd.risk_user_info_di
WHERE dt = '${biz_date}';

3.3 准确性（Accuracy）

准确性衡量数据值是否正确反映了真实业务含义。这是风控 SQL 质量监控中最核心、也最容易被忽视的指标。

3.3.1 准确性检查类型

• 值域准确性：字段值是否在合法范围内（如年龄 0-120、金额 >= 0）
• 逻辑准确性：业务逻辑是否正确（如逾期天数 = 当前日期 - 应还款日）
• 计算准确性：聚合计算、衍生字段是否正确（如 SUM、AVG、CASE WHEN 逻辑）
• 格式准确性：数据格式是否符合规范（如手机号 11 位、身份证 18 位）

3.3.2 准确性监控 SQL 示例

-- 值域准确性检查：年龄字段异常值检测
SELECT 
    COUNT(*) AS 异常记录数,
    MIN(age) AS 最小年龄,
    MAX(age) AS 最大年龄
FROM dwd.risk_user_info_di
WHERE age < 0 OR age > 120;

-- 计算准确性检查：验证逾期天数计算逻辑
SELECT 
    loan_id,
    due_date,
    CURRENT_DATE AS 当前日期,
    DATEDIFF(CURRENT_DATE, due_date) AS 计算逾期天数,
    overdue_days AS 存储逾期天数,
    CASE 
        WHEN DATEDIFF(CURRENT_DATE, due_date) != overdue_days 
        THEN '不一致' 
        ELSE '一致' 
    END AS 校验结果
FROM dwd.risk_loan_detail_di
WHERE dt = '${biz_date}'
  AND DATEDIFF(CURRENT_DATE, due_date) != overdue_days;

3.4 一致性（Consistency）

一致性确保同一数据在不同系统、不同表、不同时间点之间保持逻辑统一。风控系统通常依赖多源数据，一致性问题是数据质量的重灾区。

3.4.1 一致性分类

3.4.2 一致性监控 SQL 示例

-- 跨表一致性检查：用户基本信息表与黑名单表用户状态对比
SELECT 
    a.user_id,
    a.user_status AS 基本信息表状态,
    b.black_status AS 黑名单表状态
FROM dwd.risk_user_info_di a
JOIN dwd.risk_blacklist_di b 
    ON a.user_id = b.user_id
WHERE a.dt = '${biz_date}' 
  AND b.dt = '${biz_date}'
  AND a.user_status != b.black_status;

-- 汇总一致性检查：明细表金额汇总 vs 汇总表
SELECT 
    '明细汇总' AS 数据来源,
    SUM(loan_amount) AS 总金额
FROM dwd.risk_loan_detail_di
WHERE dt = '${biz_date}'
UNION ALL
SELECT 
    '汇总表' AS 数据来源,
    total_loan_amount AS 总金额
FROM dws.risk_loan_summary_di
WHERE dt = '${biz_date}';

3.5 及时性（Timeliness）

及时性衡量数据从产生到可被查询的时间延迟。风控场景对时效性要求极高——晚 1 分钟的数据可能导致一笔欺诈交易通过。

3.5.1 及时性监控指标

• 数据延迟：源数据产生时间到目标表可用时间的差值
• 调度延迟：任务计划执行时间与实际执行时间的差值
• 分区就绪时间：每日分区数据何时完成加载
• 查询响应时间：SQL 查询从提交到返回结果的耗时

3.5.2 及时性监控 SQL 示例

-- 检查分区数据就绪时间
SELECT 
    dt AS 分区日期,
    MIN(create_time) AS 最早数据时间,
    MAX(create_time) AS 最晚数据时间,
    TIMESTAMPDIFF(MINUTE, 
        STR_TO_DATE(CONCAT(dt, ' 00:00:00'), '%Y%m%d %H:%i:%s'), 
        MAX(create_time)
    ) AS 数据加载耗时(分钟)
FROM dwd.risk_transaction_di
WHERE dt >= DATE_FORMAT(DATE_SUB(CURRENT_DATE, INTERVAL 7 DAY), '%Y%m%d')
GROUP BY dt
ORDER BY dt DESC;

-- 监控 SQL 查询响应时间（需在应用层记录）
SELECT 
    query_id,
    query_text,
    start_time,
    end_time,
    TIMESTAMPDIFF(SECOND, start_time, end_time) AS 耗时秒数,
    CASE 
        WHEN TIMESTAMPDIFF(SECOND, start_time, end_time) > 30 
        THEN '超时' 
        ELSE '正常' 
    END AS 状态
FROM query_log
WHERE dt = '${biz_date}'
  AND query_type = '风控查询';

3.6 唯一性（Uniqueness）

唯一性确保数据集中不存在重复记录，主键或业务唯一键在表内唯一。重复数据会导致风控统计失真、模型训练偏差。

3.6.1 唯一性检查场景

3.6.2 唯一性监控 SQL 示例

-- 主键唯一性检查
SELECT 
    '主键唯一性' AS 检查项,
    COUNT(*) AS 总记录数,
    COUNT(DISTINCT user_id) AS 唯一用户数,
    COUNT(*) - COUNT(DISTINCT user_id) AS 重复记录数
FROM dwd.risk_user_info_di
WHERE dt = '${biz_date}';

-- 查找具体重复记录
SELECT 
    user_id,
    COUNT(*) AS 出现次数
FROM dwd.risk_user_info_di
WHERE dt = '${biz_date}'
GROUP BY user_id
HAVING COUNT(*) > 1
ORDER BY 出现次数 DESC
LIMIT 10;

-- 业务唯一性检查（联合唯一键）
SELECT 
    user_id,
    product_code,
    apply_date,
    COUNT(*) AS 出现次数
FROM dwd.risk_loan_apply_di
WHERE dt = '${biz_date}'
GROUP BY user_id, product_code, apply_date
HAVING COUNT(*) > 1;

3.7 关联性（Relationality）

关联性衡量表与表之间、字段与字段之间的引用关系是否正确。风控数据模型通常包含数十张表，外键关联、业务逻辑关联的完整性直接影响数据可用性。

3.7.1 关联性检查类型

• 外键关联完整性：子表的外键值在父表中是否存在
• 业务关联完整性：业务上应该关联的数据是否关联成功
• 引用一致性：被引用的数据未被误删除或修改
• 层级关联完整性：父子层级数据是否完整（如订单-子订单）

3.7.2 关联性监控 SQL 示例

-- 外键关联完整性检查：交易表中的用户ID是否在用户表中存在
SELECT 
    COUNT(*) AS 总交易记录数,
    SUM(CASE WHEN b.user_id IS NULL THEN 1 ELSE 0 END) AS 孤立交易数,
    ROUND(100.0 * SUM(CASE WHEN b.user_id IS NULL THEN 1 ELSE 0 END) / COUNT(*), 4) AS 孤立率
FROM dwd.risk_transaction_di a
LEFT JOIN dwd.risk_user_info_di b 
    ON a.user_id = b.user_id
    AND b.dt = '${biz_date}'
WHERE a.dt = '${biz_date}';

-- 业务关联完整性：检查黑名单用户是否在交易表中存在对应记录
SELECT 
    a.user_id,
    a.black_status,
    CASE 
        WHEN b.user_id IS NULL THEN '无交易记录'
        ELSE '有交易记录'
    END AS 交易关联状态
FROM dwd.risk_blacklist_di a
LEFT JOIN (
    SELECT DISTINCT user_id 
    FROM dwd.risk_transaction_di 
    WHERE dt = '${biz_date}'
) b ON a.user_id = b.user_id
WHERE a.dt = '${biz_date}'
  AND b.user_id IS NULL;

3.8 六大指标综合监控矩阵

在实际风控数据平台中，六大指标需要协同工作。下表总结了每个指标的监控频率、告警阈值与典型工具：

3.9 六大指标关系图

下图展示了六大指标之间的依赖与协同关系，帮助理解如何构建完整的监控体系：

通过本章的学习，您已经掌握了六大 SQL 质量监控指标的定义、监控方法与实战 SQL 示例。在实际工作中，建议根据业务场景为每个指标设置合理的阈值，并建立自动化监控告警体系，确保风控数据质量始终处于可控状态。