2. 数据质量评估框架：DQ评估六大维度概述
在风控数据治理中，数据质量（Data Quality, DQ）评估是发现数据问题、量化数据风险的核心手段。一个成熟的风控体系必须建立标准化的DQ评估框架，从多个维度对数据资产进行体检。本章将系统阐述风控领域通用的DQ评估六大维度：完整性、准确性、一致性、及时性、唯一性、有效性。
核心认知：六大维度并非孤立存在，它们共同构成了一个立体评估矩阵。在实际风控场景中，一个数据质量问题往往同时涉及多个维度，例如“客户年龄字段为空”既属于完整性问题，也可能导致后续模型评分准确性下降。
2.1 六大维度定义与风控映射
下表清晰展示了每个维度的定义、在风控场景中的典型表现以及评估的量化指标。
| 维度 | 定义 | 风控场景映射 | 量化指标示例 |
|---|---|---|---|
| 完整性 | 数据记录是否存在缺失或空值 | 客户身份证号、手机号、收入字段缺失，导致无法完成实名认证或收入核验 | 字段缺失率、记录完整率 |
| 准确性 | 数据值是否真实反映客观事实 | 用户填写的年龄与身份证不符、交易金额小数点错位 | 数据错误率、偏差范围 |
| 一致性 | 同一数据在不同系统或字段间是否逻辑自洽 | 核心系统中的“客户性别”与风控系统中的“性别”取值不同 | 跨系统匹配率、逻辑冲突率 |
| 及时性 | 数据从产生到可被使用的时间延迟是否满足要求 | 黑名单库更新延迟，导致已逾期的用户仍能通过审批 | 数据延迟时长、T+1到账率 |
| 唯一性 | 数据实体是否存在重复记录 | 同一客户在系统中存在多条重复建档，导致授信额度叠加风险 | 重复记录率、主键冲突数 |
| 有效性 | 数据是否符合业务定义的格式、范围或规则 | 手机号不符合11位数字规范、邮箱格式错误、日期超出合理范围 | 格式合规率、枚举值覆盖率 |
实战建议：在风控数据质量评估报告中，建议将六大维度作为一级评估指标，每个维度下再拆解出具体的评估规则。例如“完整性”下可细分为“必填字段完整性”和“关联字段完整性”。
2.2 六大维度评估关系图
下图展示了六大维度之间的逻辑关系及其在风控数据生命周期中的位置。完整性、准确性、有效性是基础数据质量层；一致性、唯一性属于数据关联与治理层；及时性则贯穿数据流转的全过程。
2.3 维度评估优先级矩阵
在风控场景中，不同维度的优先级并非一成不变，而是取决于数据的使用场景。下表给出了不同风控场景下的维度优先级排序，帮助评估人员聚焦核心问题。
| 风控场景 | 第一优先级 | 第二优先级 | 第三优先级 |
|---|---|---|---|
| 反欺诈（身份核验） | 准确性 | 完整性 | 有效性 |
| 信用评分（模型训练） | 完整性 | 一致性 | 准确性 |
| 实时交易监控 | 及时性 | 有效性 | 唯一性 |
| 客户画像（数据仓库） | 唯一性 | 一致性 | 完整性 |
| 监管报送 | 准确性 | 有效性 | 及时性 |
避坑提示：不要对所有数据表使用相同的维度权重。例如，对于“客户基本信息表”，完整性和准确性权重应占70%以上；而对于“交易流水表”，及时性和唯一性则更为关键。建议在评估报告开篇即明确本次评估的场景优先级。
2.4 六大维度评估流程
在实际执行DQ评估时，建议遵循以下标准化流程，确保评估结果可复现、可追溯。
- 定义评估范围：明确待评估的数据表、字段、数据量级及时间窗口。
- 配置评估规则：针对每个维度编写具体的SQL或Python校验脚本，例如“检查身份证号字段是否为18位”属于有效性规则。
- 执行批量扫描：在测试环境或离线数仓中运行评估脚本，生成原始问题数据清单。
- 人工抽样复核：对机器扫描出的异常数据进行人工抽检，排除误报。
- 计算维度得分：根据规则通过率计算每个维度的得分（通常为百分制）。
- 生成评估报告：汇总各维度得分、问题分布、根因分析及改进建议。
效率提升技巧：建议将六大维度的评估规则封装成可复用的DQ评估函数库。例如，在Python中定义
check_completeness(df, columns)、check_uniqueness(df, primary_key) 等函数，后续评估新表时只需传入数据框和字段列表即可。
2.5 维度得分计算示例
以下是一个简单的Python代码片段，演示如何计算某个字段的“完整性”得分。该代码可直接嵌入风控数据质量评估工具中。
import pandas as pd
def completeness_score(df, column):
"""
计算指定字段的完整性得分
:param df: pandas DataFrame
:param column: 待评估字段名
:return: 完整性得分（百分制）
"""
total = len(df)
non_null = df[column].notna().sum()
score = round((non_null / total) * 100, 2)
return score
# 示例用法
data = {'user_id': [1, 2, 3, 4, 5],
'phone': ['13800138000', None, '13900139000', '13700137000', None]}
df = pd.DataFrame(data)
score = completeness_score(df, 'phone')
print(f"手机号字段完整性得分: {score}%")
# 输出: 手机号字段完整性得分: 60.0%
扩展思考：在实际风控项目中，建议将六大维度的得分汇总为一个综合数据质量指数（DQ Index），计算公式为：
DQ Index = Σ(维度得分 × 维度权重)。权重可根据2.3节的场景优先级矩阵动态调整。