📚 课程目录第2章缺失机制分类

缺失机制分类：MCAR、MAR、MNAR 的定义与区别

在特征缺失巡检与风险传导分析中，理解缺失数据的生成机制是选择处理策略的前提。缺失机制决定了缺失值是否可以被忽略、是否需要引入外部信息、以及后续建模是否会引入偏差。统计学家 Rubin（1976）将缺失机制划分为三类：完全随机缺失（MCAR）、随机缺失（MAR）和非随机缺失（MNAR）。

一、三类缺失机制的核心定义

缺失机制	英文全称	核心定义	缺失概率与数据的关系
MCAR	Missing Completely At Random	缺失与否完全独立于所有变量（包括观测值和缺失值本身）	缺失概率 = 常数，与任何变量无关
MAR	Missing At Random	缺失与否依赖于其他已观测变量，但与缺失变量本身的值无关	缺失概率 = f(观测变量)，与缺失变量无关
MNAR	Missing Not At Random	缺失与否依赖于缺失变量本身的值（即使控制了其他变量）	缺失概率 = f(缺失变量本身)，不可忽略

  关键区分点：MCAR 是最理想的缺失形式，但现实中极少见；MAR 是大多数统计插补方法（如 MICE、EM 算法）的适用前提；MNAR 需要专门的敏感性分析或选择模型处理，不能简单插补。

二、三类缺失机制的详细对比

1. 完全随机缺失（MCAR）

定义：缺失的发生完全随机，不依赖于任何观测值或缺失值。例如：调查问卷被雨水淋湿导致部分数据丢失，或传感器因电源波动随机跳过一个采样点。
特征：观测到的数据是完整数据的一个随机子样本，无系统性偏差。
处理方式：可直接删除缺失样本（listwise deletion）而不引入偏差，但会损失样本量。
检验方法：Little's MCAR 检验（卡方检验），若 p > 0.05 则不能拒绝 MCAR 假设。

2. 随机缺失（MAR）

定义：缺失概率依赖于其他已观测变量，但与缺失变量本身的值无关。例如：在收入调查中，高学历人群更倾向于报告收入，而低学历人群收入缺失较多——缺失依赖于“学历”（已观测），但与“收入”本身无关。
特征：缺失机制可由观测变量解释，条件独立于缺失值。
处理方式：可使用多重插补（MICE）、极大似然估计（FIML）等方法，利用观测变量信息进行无偏估计。
检验方法：无法直接验证，通常通过分组比较缺失组与观测组的协变量分布来间接评估。

3. 非随机缺失（MNAR）

定义：缺失概率依赖于缺失变量本身的值，即使控制了所有观测变量。例如：收入极高或极低的人群更倾向于隐瞒收入——缺失与“收入”值直接相关。
特征：缺失机制不可忽略，观测数据存在系统性偏差。
处理方式：需使用选择模型（Heckman 模型）或模式混合模型（Pattern-Mixture Model），并进行敏感性分析。
检验方法：无法直接统计检验，通常通过假设场景下的敏感性分析来评估影响。

实践建议：在特征缺失巡检中，优先假设 MAR 并使用插补方法；若怀疑 MNAR，需在风险传导分析中标注“高敏感特征”，并评估不同缺失假设下的结论稳健性。

三、缺失机制分类的决策树

下图展示了在实际巡检中如何根据缺失模式初步判断缺失机制，并选择对应的处理路径。

四、三类缺失机制在风险传导中的影响

缺失机制	对统计推断的影响	对风险传导分析的影响	推荐处理策略
MCAR	无偏估计，仅损失效率	风险传导路径无系统性扭曲	直接删除或简单插补
MAR	条件无偏（给定观测变量）	若忽略观测变量，风险传导系数可能偏移	多重插补 + 协变量调整
MNAR	有偏估计，不可忽略	风险传导路径可能被严重低估或高估	敏感性分析 + 边界估计

风险提示：在特征缺失巡检中，若误将 MNAR 当作 MAR 处理，会导致风险传导系数产生系统性偏差，进而误导后续的风险决策。建议在巡检报告中明确标注每个特征的缺失机制假设，并评估不同假设下的风险传导范围。

五、实际案例：信贷评分中的缺失机制

以信贷申请数据为例，假设我们关注“月收入”字段的缺失情况：

MCAR 场景：系统随机抽取 5% 的申请记录，因扫描仪故障导致收入字段丢失。缺失与申请人特征无关。
MAR 场景：自雇人士（职业字段已观测）更倾向于不填写收入，而受雇人士填写完整。缺失依赖于“职业”，但与“收入”值无关。
MNAR 场景：高收入申请人因隐私顾虑故意隐瞒收入，低收入申请人因羞耻感不填写。缺失与“收入”本身直接相关。

在风险传导分析中，若将 MNAR 场景误判为 MAR，使用职业变量插补收入，会导致高收入群体的信用评分被系统性低估，从而错误地提高风险定价，造成优质客户流失。