2. 特征缺失基础：什么是特征缺失，缺失值的类型及其业务含义

在数据质量巡检中，特征缺失是最常见、影响最广泛的数据质量问题之一。它指的是数据集中某个或某些特征（列）的观测值未被记录或不可用。理解缺失的本质及其产生机制，是后续进行缺失值处理、特征工程以及PSI监控的前提。

2.1 什么是特征缺失

特征缺失并非简单的“数据为空”，它背后往往隐藏着数据采集、传输、存储或业务逻辑上的异常。从数据质量角度看，缺失值会带来以下直接影响：

• 信息损失：模型无法从缺失的样本中学习到该特征的信息。
• 统计偏差：如果缺失并非随机，基于完整数据的统计分析会产生系统性偏差。
• 模型失效：多数机器学习算法无法直接处理缺失值，导致训练或推理失败。
• PSI失真：缺失率在不同时间窗口内的变化，会直接干扰群体稳定性指标的计算。

2.2 缺失值的三种类型

统计学家将缺失机制分为三类：完全随机缺失（MCAR）、随机缺失（MAR）和非随机缺失（MNAR）。这三类缺失对数据处理策略的选择具有决定性影响。

2.3 三类缺失的业务含义与识别

2.3.1 MCAR：完全随机缺失

MCAR是最理想的缺失场景，因为缺失样本可以视为完整样本的一个随机子集。此时，直接删除缺失样本不会引入偏差，但会损失样本量。在金融风控场景中，MCAR通常对应系统层面的偶发故障。

• 示例：某银行APP在特定时间段内因服务器负载均衡问题，导致部分用户的“浏览时长”字段未被记录。
• 识别方法：将数据按是否缺失分组，检验两组在其他特征上的均值分布是否一致（如t检验、卡方检验）。

2.3.2 MAR：随机缺失

MAR是实际业务中最常见的缺失类型。缺失概率可由其他完整特征解释，因此可以通过建模进行插补。在信贷评分卡中，MAR场景需要谨慎处理，因为缺失本身可能携带信息。

• 示例：在申请评分卡中，“工作年限”字段缺失的概率与“年龄”和“学历”相关。年轻且学历低的申请人更可能漏填此项。
• 识别方法：构建逻辑回归模型，以“是否缺失”为目标变量，其他完整特征为自变量，若模型显著则提示MAR。

2.3.3 MNAR：非随机缺失

MNAR是最棘手的缺失类型，因为缺失的原因与缺失值本身直接相关。此时，简单的插补方法会失效，需要引入领域知识或外部数据来建模缺失机制。

• 示例：在反欺诈模型中，“历史逾期金额”字段缺失，往往是因为该用户从未发生过逾期（即金额为0），但系统未区分“0”与“缺失”。
• 识别方法：MNAR无法通过数据内部统计完全验证，通常需要结合业务逻辑判断。例如，若缺失率与目标变量（如违约标签）显著相关，则高度怀疑MNAR。

2.4 缺失机制与处理策略对照

不同的缺失类型对应不同的处理策略。下表总结了在特征缺失巡检中，针对三类缺失的推荐处理路径：

2.5 缺失机制分类决策流程

在实际巡检中，可以通过以下决策流程快速判断缺失类型，并选择后续处理方案：

2.6 缺失巡检中的常见误区

• 误区一：所有缺失都视为MCAR。直接删除或全局填充会引入严重偏差，尤其是在MNAR场景下。
• 误区二：缺失率低就无需关注。即使缺失率低于1%，如果缺失集中在高风险样本（如违约用户），仍会显著影响模型性能。
• 误区三：忽略缺失指示变量。在MAR和MNAR场景中，缺失本身可能是一个强预测特征，直接丢弃会损失信息。
• 误区四：PSI计算时未区分缺失。在计算群体稳定性指标时，缺失率的变化应与分布变化分开监控，否则会混淆数据质量问题和真实分布漂移。