1. 缺失值基础概念

1.1 什么是缺失值

缺失值是指在数据记录中，某个或某些字段的值未被观测、未被记录或不存在的情况。在金融风控场景中，缺失值并非简单的“数据空白”，它往往隐含着客户行为、系统处理逻辑或业务规则的重要信号。例如，客户未填写收入字段可能意味着收入不稳定或不愿披露；征信查询记录缺失可能表示客户从未使用过信贷产品。

1.2 缺失值在金融特征中的常见表现形式

金融数据源多样（业务库、征信、三方数据、埋点日志），缺失值的表现形式也各不相同。下表总结了四种最常见的表现形式及其典型场景：

1.3 缺失值对模型稳定性的影响

缺失值对金融模型稳定性的影响是多维度的，主要体现在以下三个层面：

• 训练-推理分布偏移：训练集缺失率 5%，线上推理时缺失率飙升到 30%，模型未见过的缺失模式会导致评分剧烈波动。
• 特征重要性失真：树模型对缺失值有默认分支处理，若缺失率随时间变化，特征重要性排序会漂移，模型解释性下降。
• PSI 指标虚高：缺失率变化会直接推高群体稳定性指标（PSI），触发不必要的模型重训警报，增加运维成本。

下图展示了缺失率变化如何通过三个路径影响模型稳定性：

1.4 缺失值对模型性能的量化影响

以下表格展示了在同一个信贷评分模型上，不同缺失率场景下的性能对比（基于某消费金融产品 10 万样本测试集）：

1.5 缺失值巡检的起点：识别与分类

在实际工程中，第一步不是填充或删除，而是准确识别缺失值的类型。以下 Python 代码展示了如何对 DataFrame 中的缺失形式进行初步扫描：

import pandas as pd
import numpy as np

def scan_missing_types(df):
    """
    扫描 DataFrame 中各列的缺失表现形式
    返回每列的 NULL/NaN/空字符串/占位符 统计
    """
    report = pd.DataFrame(index=df.columns)
    report['null_count'] = df.isnull().sum()
    report['nan_count'] = df.apply(lambda x: x.isna().sum() if x.dtype in ['float64','int64'] else 0)
    report['empty_str_count'] = df.apply(lambda x: (x == '').sum() if x.dtype == 'object' else 0)
    # 常见占位符检测
    placeholders = [-9999, -1, 999999, 9999, -999]
    report['placeholder_count'] = df.apply(
        lambda x: x.isin(placeholders).sum() if x.dtype in ['float64','int64'] else 0
    )
    report['total_missing'] = report.sum(axis=1)
    return report.sort_values('total_missing', ascending=False)

# 使用示例
# missing_report = scan_missing_types(feature_df)
# print(missing_report.head(10))