2. 数据质量评估框架：从流程到报告的全链路设计

数据质量评估是数据治理与模型开发之间的关键桥梁。一个结构化的评估框架能够将模糊的“数据好不好”转化为可量化、可追踪、可改进的指标集合。本章围绕评估流程、指标设计、评分卡模型与报告生成四个核心环节展开。

2.1 数据质量评估流程

标准评估流程分为五个阶段，形成从定义到改进的闭环：

1. 需求定义：与业务方确认数据使用场景，明确关键字段与容忍阈值。
2. 规则配置：针对完整性、准确性、一致性、时效性、唯一性等维度配置检查规则。
3. 数据探查：通过抽样或全量扫描执行规则，记录异常记录与统计分布。
4. 评分计算：将各维度得分按权重聚合，生成字段级、表级、系统级评分。
5. 报告与改进：输出可视化报告，定位根因，推动数据清洗或源头治理。

2.2 评估指标设计

指标设计遵循 SMART 原则（具体、可衡量、可达成、相关、有时限）。核心维度与典型指标如下：

2.3 评分卡模型

评分卡模型将多维度指标转化为统一的百分制得分，支持字段级、表级、系统级三层聚合。核心公式如下：

# 字段级得分
field_score = Σ(维度得分_i × 维度权重_i)

# 表级得分
table_score = Σ(字段得分_j × 字段权重_j) / 字段总数

# 系统级得分
system_score = Σ(表得分_k × 表权重_k) / 表总数

权重配置示例（以客户信息表为例）：

2.4 数据质量报告生成

报告是评估框架的最终交付物，需要兼顾技术深度与业务可读性。一份完整的质量报告应包含以下模块：

• 执行摘要：系统级总得分、环比变化、核心风险提示（1页）。
• 维度概览：各维度得分雷达图或柱状图，标注低于阈值的维度。
• 字段明细：按得分排序的字段列表，支持下钻查看异常记录。
• 异常清单：具体违反规则的记录示例，包含字段值、规则ID、时间戳。
• 改进建议：基于根因分析生成的自动化建议（如“手机号格式异常，建议增加前端校验”）。

import pandas as pd
from datetime import datetime

def generate_quality_report(scores_df, anomalies_df, config):
    report = {
        "report_id": f"DQ_{datetime.now().strftime('%Y%m%d_%H%M%S')}",
        "system_score": round(scores_df['score'].mean(), 2),
        "dimension_scores": scores_df.groupby('dimension')['score'].mean().to_dict(),
        "low_score_fields": scores_df[scores_df['score'] < config['threshold']]['field'].tolist(),
        "top_anomalies": anomalies_df.head(10).to_dict('records'),
        "suggestions": generate_suggestions(anomalies_df, config)
    }
    return report

报告输出格式建议同时支持 PDF（面向业务方）和 HTML（面向技术团队，支持交互式下钻）。关键指标应设置“红黄绿”状态灯：