3. 特征缺失巡检指标定义

特征缺失是风控数据质量中最常见、破坏性最强的问题之一。缺失数据会导致模型输出偏差、规则失效、决策链路中断。本章定义六大核心巡检指标，作为后续缺失拦截策略的量化基础。

3.1 指标全景

六大指标从不同维度刻画特征缺失状态：

3.2 缺失率与空值率

缺失率是最基础的巡检指标，定义为特征值为空（包括 NULL、空字符串、占位符）的记录数占总记录数的比例。

缺失率 = (缺失记录数 / 总记录数) × 100%

空值率特指数据库层面显式 NULL 的比例。两者差异在于：空值率只统计 NULL，缺失率还包含业务层面的空（如空字符串 ''、占位符 '-999'、'N/A'）。

3.3 零值率

零值率衡量特征值为 0 的记录占比。零值在风控中具有双重语义：可能是真实零（如"近 30 天逾期次数=0"），也可能是缺失零（如"未查询到数据，默认填 0"）。

零值率 = (特征值为 0 的记录数 / 总记录数) × 100%

零值率异常升高通常意味着数据源将缺失值统一填充为 0，这会严重误导模型。建议将零值率与缺失率联合监控：

• 缺失率低 + 零值率高：可能为真实零，需结合业务判断
• 缺失率高 + 零值率同步升高：大概率是缺失被填充为 0，需立即拦截
• 零值率突增 > 20%：触发数据质量告警

3.4 异常波动率

异常波动率检测特征值在时间窗口内的突变程度，用于发现数据源故障、上游接口变更或批量脏数据注入。

异常波动率 = |当前窗口统计值 - 历史窗口统计值| / 历史窗口统计值

常用统计量包括均值、中位数、标准差。波动率超过阈值（通常 30%~50%）即触发异常标记。

3.5 特征新鲜度

特征新鲜度衡量特征最近一次有效更新距离当前时间的间隔，单位通常为小时或天。新鲜度越差，特征越可能失效。

特征新鲜度 = 当前时间 - 特征最近有效更新时间

3.6 特征覆盖率

特征覆盖率评估特征在目标群体中的有效覆盖比例，反映特征的实际可用性。覆盖率低意味着该特征对大部分样本无效，模型依赖该特征时会产生大量缺失。

特征覆盖率 = (有效值记录数 / 目标群体总记录数) × 100%

有效值定义为非缺失、非异常的值。覆盖率低于 60% 的特征应标记为"低覆盖"，在模型训练和线上推理时需特殊处理。

3.7 指标关系与巡检流程

六大指标构成完整的特征缺失巡检链路，下图展示其协作关系：

3.8 指标计算示例

以下 Python 代码展示如何批量计算六大指标，适用于每日巡检任务：

import pandas as pd
import numpy as np
from datetime import datetime, timedelta

def compute_missing_indicators(df, feature_col, time_col=None):
    """
    计算特征缺失六大指标
    :param df: DataFrame，包含特征列
    :param feature_col: 特征列名
    :param time_col: 时间列名（用于新鲜度计算）
    :return: dict，包含所有指标值
    """
    total = len(df)
    null_count = df[feature_col].isnull().sum()
    empty_count = (df[feature_col].astype(str).str.strip() == '').sum()
    placeholder_count = (df[feature_col].isin(['-999', 'N/A', 'Unknown'])).sum()
    
    # 缺失率 = NULL + 空字符串 + 占位符
    missing_rate = (null_count + empty_count + placeholder_count) / total
    
    # 空值率 = 仅 NULL
    null_rate = null_count / total
    
    # 零值率
    zero_rate = (df[feature_col] == 0).sum() / total
    
    # 异常波动率（需历史数据，此处简化）
    # 假设历史均值为 hist_mean
    hist_mean = 0.15  # 示例值
    current_mean = df[feature_col].mean()
    anomaly_volatility = abs(current_mean - hist_mean) / hist_mean if hist_mean != 0 else 0
    
    # 特征新鲜度
    freshness = None
    if time_col is not None:
        latest_time = df[time_col].max()
        freshness = (datetime.now() - latest_time).total_seconds() / 3600  # 小时
    
    # 特征覆盖率
    valid_count = total - null_count - empty_count - placeholder_count
    coverage = valid_count / total
    
    return {
        'feature': feature_col,
        'missing_rate': round(missing_rate, 4),
        'null_rate': round(null_rate, 4),
        'zero_rate': round(zero_rate, 4),
        'anomaly_volatility': round(anomaly_volatility, 4),
        'freshness_hours': round(freshness, 2) if freshness else None,
        'coverage': round(coverage, 4)
    }

# 使用示例
sample_df = pd.DataFrame({
    'income': [5000, None, 0, 8000, '', 6000, -999, 7000, None, 9000],
    'event_time': pd.date_range(end=datetime.now(), periods=10, freq='H')
})
result = compute_missing_indicators(sample_df, 'income', 'event_time')
print(result)

3.9 指标阈值速查

下表汇总各指标的推荐阈值与处置建议，供巡检系统配置参考：