3. 缺失巡检工具介绍

3.1 工具定位与核心功能

金融特征缺失巡检工具是面向数据仓库、数据湖及特征工程管线的主动式数据质量监控组件。它不依赖下游报表反馈，而是在特征加工完成后、模型训练或服务上线前，自动扫描特征表中各字段的缺失情况，并按照预设规则输出告警与报告。

工具的核心定位可概括为：

• 事前发现：在数据进入模型前识别缺失风险，避免“脏数据”影响模型效果。
• 自动化巡检：支持定时调度（如每日/每小时）与事件触发（如表更新后自动执行）。
• 多维度评估：从缺失率、缺失模式、缺失分布三个维度量化特征健康度。
• 可追溯：每次巡检结果持久化存储，支持历史趋势对比与根因分析。

3.2 工具架构概览

工具采用四层架构设计，从数据接入到报告输出逐层解耦，便于扩展与维护。整体架构如下图所示：

各层职责与交互关系如下：

• 数据采集层：负责从各类数据源（Hive 表、Kafka 流、JDBC 数据库）拉取特征数据，支持增量与全量两种模式，并对原始数据进行轻量缓存，避免重复读取。
• 检测层：核心计算引擎，执行缺失率统计、缺失模式识别（基于 Little's MCAR 检验与逻辑回归辅助判断）、缺失分布聚合。检测结果写入中间结果表。
• 告警层：读取检测结果，与预配置的字段级/全局阈值比对，按严重程度（P0 严重 / P1 警告 / P2 提示）触发不同渠道的告警推送。
• 报告层：将检测结果与告警记录汇总，生成可视化报告（HTML 内嵌图表或 PDF），并支持历史数据对比，帮助数据治理团队追踪特征质量变化趋势。

3.3 技术栈说明

工具技术栈围绕大数据生态与轻量服务化两个方向选型，兼顾性能与易用性。核心组件如下表所示：

以下为检测层核心代码片段示例，展示缺失率计算与模式识别的基本逻辑：

import pandas as pd
import numpy as np
from scipy.stats import chi2_contingency

def compute_missing_rate(df: pd.DataFrame) -> dict:
    """计算每个字段的缺失率（含 Null 与空字符串）"""
    missing = df.isnull().sum() + (df == '').sum()
    total = len(df)
    return {col: round(missing[col] / total, 4) for col in df.columns}

def detect_missing_pattern(df: pd.DataFrame, target_col: str) -> str:
    """
    简单缺失模式识别：
    - 若缺失与其他字段无关 -> MCAR
    - 若缺失与某字段相关 -> MAR
    - 否则 -> MNAR
    """
    missing_flag = df[target_col].isnull().astype(int)
    other_cols = [c for c in df.columns if c != target_col]
    if not other_cols:
        return 'MCAR'
    # 使用卡方检验判断缺失与离散字段的相关性
    for col in other_cols:
        if df[col].dtype == 'object' or df[col].nunique() < 10:
            crosstab = pd.crosstab(missing_flag, df[col])
            if crosstab.shape == (2, 1):
                continue
            _, p, _, _ = chi2_contingency(crosstab)
            if p < 0.05:
                return 'MAR'
    return 'MCAR'  # 简化处理，实际需结合领域知识