4、特征缺失率统计方法：单特征缺失率计算、整体数据缺失率、按时间窗口（日/周/月）统计缺失率

特征缺失率是金融风控模型数据质量监控中最基础、最核心的指标之一。缺失率过高不仅会降低模型的有效样本量，还可能导致特征分布偏移、模型预测偏差甚至上线事故。本章系统讲解缺失率的三种统计维度：单特征、整体数据以及时间窗口，并给出可直接落地的 Python 实现。

4.1 单特征缺失率计算

单特征缺失率衡量的是某个特征在全部样本中缺失值的占比，是特征级数据质量巡检的起点。计算公式如下：

在金融风控场景中，不同特征的缺失容忍度差异很大。下表列出常见特征的缺失率阈值参考：

Python 实现单特征缺失率计算：

import pandas as pd
import numpy as np

def single_feature_missing_rate(df, feature_name):
    """
    计算单特征缺失率
    :param df: DataFrame
    :param feature_name: 特征列名
    :return: 缺失率（百分比）
    """
    total = len(df)
    missing = df[feature_name].isnull().sum()
    rate = (missing / total) * 100
    return round(rate, 4)

# 示例：计算 'income' 特征的缺失率
missing_rate = single_feature_missing_rate(loan_data, 'income')
print(f"特征 income 缺失率: {missing_rate}%")

4.2 整体数据缺失率

整体数据缺失率反映整个数据集的数据完整程度，通常有两种计算口径：

• 全局缺失率：所有特征所有样本中缺失值总数 / (样本数 × 特征数) × 100%
• 平均特征缺失率：各特征缺失率的算术平均值

两种口径各有适用场景：全局缺失率对特征数量敏感，适合评估整体数据填充成本；平均特征缺失率则更公平地反映每个特征的缺失水平，避免高基数特征被低基数特征稀释。

Python 实现：

def overall_missing_rate(df):
    """
    计算整体数据缺失率（全局口径）
    """
    total_cells = df.shape[0] * df.shape[1]
    missing_cells = df.isnull().sum().sum()
    return round((missing_cells / total_cells) * 100, 4)

def avg_feature_missing_rate(df):
    """
    计算平均特征缺失率
    """
    feature_rates = df.isnull().mean() * 100
    return round(feature_rates.mean(), 4)

print(f"全局缺失率: {overall_missing_rate(loan_data)}%")
print(f"平均特征缺失率: {avg_feature_missing_rate(loan_data)}%")

4.3 按时间窗口统计缺失率

单时间点的缺失率无法反映数据质量的变化趋势。在金融业务中，数据源接口波动、上游系统变更、节假日数据延迟等因素都可能导致缺失率在特定时间窗口内异常升高。因此，按日、周、月统计缺失率是监控体系的核心能力。

4.3.1 时间窗口统计逻辑

• 日窗口：以自然日为单位，统计当日所有样本的特征缺失率。适合监控高频数据源（如每日跑批的征信查询、多头借贷数据）。
• 周窗口：以自然周（周一至周日）为单位，聚合周内每日缺失率。适合过滤日级噪声，观察周度趋势。
• 月窗口：以自然月为单位，统计月度整体缺失率。适合月度模型重训前的数据质量评估。

下图展示了按时间窗口统计缺失率的完整流程：

4.3.2 Python 实现：按日/周/月统计缺失率

def window_missing_rate(df, date_col, feature_cols, window='D'):
    """
    按时间窗口统计特征缺失率
    :param df: DataFrame，必须包含日期列
    :param date_col: 日期列名
    :param feature_cols: 需要统计的特征列列表
    :param window: 时间窗口，'D'=日，'W'=周，'M'=月
    :return: DataFrame，每行一个窗口，每列一个特征的缺失率
    """
    # 确保日期列是 datetime 类型
    df[date_col] = pd.to_datetime(df[date_col])
    
    # 按窗口分组
    if window == 'D':
        group_key = df[date_col].dt.date
    elif window == 'W':
        group_key = df[date_col].dt.isocalendar().year.astype(str) + '-W' + df[date_col].dt.isocalendar().week.astype(str)
    elif window == 'M':
        group_key = df[date_col].dt.to_period('M')
    else:
        raise ValueError("window 参数仅支持 'D', 'W', 'M'")
    
    # 计算每个窗口内各特征的缺失率
    result = df.groupby(group_key)[feature_cols].apply(
        lambda x: x.isnull().mean() * 100
    ).reset_index()
    
    return result

# 示例：按周统计 'income', 'credit_score', 'loan_amount' 的缺失率
weekly_missing = window_missing_rate(
    loan_data, 
    date_col='apply_date', 
    feature_cols=['income', 'credit_score', 'loan_amount'], 
    window='W'
)
print(weekly_missing.head())

4.3.3 时间窗口缺失率监控的典型模式

在实际监控中，以下三种模式需要重点关注：

4.4 三种统计维度的对比与选择

下表总结了单特征缺失率、整体数据缺失率和时间窗口缺失率的适用场景与优缺点：

在实际的金融特征模型监控系统中，建议将三种维度组合使用：以单特征缺失率作为日常巡检的基本单元，以整体数据缺失率作为月度质量报告的汇总指标，以时间窗口缺失率作为实时监控和异常告警的核心依据。三者形成从微观到宏观、从静态到动态的完整缺失率监控体系。