3、数据缺失类型：完全随机缺失、随机缺失、非随机缺失的定义与区别
在Edge AI传感器系统中，数据缺失并非单一现象。从统计学的角度，缺失机制决定了我们能否以及如何对数据进行修复或降级处理。理解缺失数据的产生机制，是选择插补算法、设计降级策略、评估模型置信度的前提。若将缺失机制误判，轻则导致模型偏差，重则使安全攸关系统（如自动驾驶、工业控制）产生错误决策。本节将系统阐述三种缺失类型的数学定义、工程识别方法及在传感器场景下的典型表现。
3.1 核心原理：三种缺失机制的数学定义与工程含义
缺失数据机制由Rubin（1976）提出，其核心是描述缺失概率与数据集中其他变量之间的关系。设完整数据矩阵为 X = (Xobs, Xmis)，其中Xobs为观测到的数据，Xmis为缺失的数据，M为缺失指示矩阵（Mij=1表示第i个样本的第j个变量缺失）。三种机制定义如下：
- 完全随机缺失（MCAR）：缺失概率与Xobs和Xmis均无关，即P(M|X) = P(M)。缺失数据是观测数据的一个随机子集，不存在系统性偏差。
- 随机缺失（MAR）：缺失概率仅依赖于Xobs，不依赖于Xmis本身，即P(M|X) = P(M|Xobs)。缺失的发生可以通过其他已观测变量进行预测。
- 非随机缺失（MNAR）：缺失概率依赖于Xmis本身的值，即P(M|X) = P(M|Xobs, Xmis)。即使观测到其他所有变量，缺失机制仍无法完全解释。
在Edge AI传感器场景中，这三种机制对应着截然不同的物理根源。MCAR通常源于偶发性的硬件故障、电磁干扰导致的瞬时数据包丢失，或电池电压波动引起的随机采样失败。MAR则常见于环境依赖型失效，例如温度升高导致MEMS加速度计输出饱和而丢弃数据，此时温度是已观测变量，可以预测缺失概率。MNAR最为棘手，典型如压力传感器在超量程时输出被截断，缺失值本身（真实压力值）决定了缺失是否发生——因为真实压力超过了量程上限，所以数据才缺失。
3.2 判断方法：从统计检验到工程启发式
在实际Edge AI系统中，我们无法直接观测到缺失机制，但可以通过统计检验和工程特征进行推断。以下是常用的判断流程：
- Little's MCAR检验：将样本按缺失模式分组，比较各组间观测变量的均值向量是否存在显著差异。若p值大于0.05，则不能拒绝MCAR假设。该方法适用于连续型传感器数据，计算量适中，可在边缘设备上周期性执行。
- 分组比较法：将数据按缺失状态分为两组（缺失组与非缺失组），对每个其他传感器通道做t检验或Mann-Whitney U检验。若存在显著差异（如温度高时IMU数据更易缺失），则倾向于MAR而非MCAR。
- 逻辑回归诊断：以缺失指示变量为因变量，其他观测变量为自变量构建逻辑回归模型。若模型解释力显著（如AUC大于0.7），则支持MAR；若模型几乎无预测能力，则支持MCAR。
- 领域知识交叉验证：结合传感器物理原理判断。例如，若缺失总是发生在振动幅值超过阈值时，且该阈值与量程相关，则高度怀疑MNAR。
| 判断维度 | MCAR | MAR | MNAR |
|---|---|---|---|
| 缺失概率与观测值 | 无关 | 相关 | 可能相关 |
| 缺失概率与缺失值 | 无关 | 无关 | 相关 |
| Little检验结果 | p>0.05 | p<0.05 | p<0.05 |
| 逻辑回归AUC | ≈0.5 | >0.7 | 不确定 |
| 典型传感器场景 | 随机EMI干扰 | 温度/湿度依赖失效 | 量程饱和、信号削波 |
| 推荐处理策略 | 列表删除/均值插补 | 回归插补/多重插补 | 物理模型/保守降级 |
3.3 案例拆解：工业振动监测系统的缺失诊断
某工厂部署了基于Edge AI的旋转机械振动监测系统，采样频率为25.6kHz，每个节点包含一个压电式加速度计（量程±50g）和一个温度传感器（量程-40°C~125°C）。系统运行三个月后，运维团队发现振动数据的缺失率从0.3%上升至2.1%，且缺失呈现明显的时段聚集性。
初始现象与数据特征：缺失主要发生在每天下午14:00-16:00，该时段环境温度通常达到40°C以上。进一步分析发现，缺失样本对应的温度读数均高于45°C，而正常样本的温度分布为25°C~50°C。此外，缺失发生前50ms的振动幅值RMS值均超过8g，而正常运行时的RMS值约为2g~5g。
分析判断过程：
- 首先执行Little's MCAR检验，p值小于0.001，拒绝MCAR假设。
- 以缺失状态分组，对温度变量做t检验，结果显示缺失组温度均值显著高于非缺失组（48.2°C vs 36.7°C，p<0.001），初步支持MAR。
- 构建逻辑回归模型，以温度、振动RMS、转速为自变量预测缺失概率，AUC达到0.82，进一步支持MAR。
- 但深入检查发现，部分缺失样本在缺失前10ms的振动峰值已超过49g，接近量程上限。这提示可能存在MNAR成分——当真实振动值超过50g时，传感器输出饱和，数据被标记为无效。
实际操作与结果：团队最终将缺失机制判定为“以MAR为主、混合MNAR成分”。处理策略分为两层：对于温度高于45°C且振动RMS低于8g的缺失，采用温度补偿回归插补（利用温度与振动灵敏度的关系）；对于振动峰值接近量程的缺失，不进行插补，而是标记为“饱和事件”并触发降级策略——将模型从高精度模式切换为安全模式，降低控制增益。实施后，模型误报率从每月12次降至3次，且未出现因插补导致的虚假报警。
3.4 常见误区与总结复盘
在Edge AI传感器缺失处理中，工程师常陷入以下误区：
- 误区一：默认所有缺失都是MCAR。许多团队直接删除含缺失的样本，这在MCAR下可行，但在MAR或MNAR下会引入选择偏差，使训练集与真实分布不一致。
- 误区二：过度依赖单一统计检验。Little检验在样本量小或高维数据下功效不足，应结合领域知识和多种诊断方法综合判断。
- 误区三：忽略MNAR的物理根源。传感器量程、饱和、削波是MNAR的常见来源，但常被当作普通异常值处理，导致系统性低估极端事件。
- 误区四：插补后不评估不确定性。在安全攸关系统中，插补值应附带置信区间，当置信度低时应触发降级而非盲目信任插补结果。
总结复盘：正确识别缺失机制是Edge AI传感器数据治理的第一步。MCAR可安全删除，MAR可借助其他通道插补，MNAR必须结合物理模型或保守降级。实际系统中，三种机制往往混合存在，需要建立分层诊断流程：先做统计检验排除MCAR，再通过可观测变量建模识别MAR成分，最后用领域知识排查MNAR风险。在资源受限的边缘设备上，可采用轻量级启发式规则（如温度阈值、量程接近度）作为统计检验的补充，实现实时缺失机制分类。