4. 缺失模式的可视化与量化诊断

在上一节中，我们已经能够识别数据集中存在缺失，并区分完全随机缺失、随机缺失与非随机缺失三种机制。但仅凭缺失机制判断还不足以支撑后续处理决策，我们还需要回答三个更具体的问题：缺失在数据矩阵中呈现什么形态？每个变量的缺失严重程度如何？变量之间的缺失是否彼此关联？本节围绕这三个问题，介绍缺失矩阵图、缺失比例统计与变量间缺失相关性分析三类诊断手段，并说明如何把它们整合成一份可交付的缺失问题诊断报告。

缺失矩阵图：看清缺失的空间形态

缺失矩阵图把原始数据矩阵直接映射为一张二值图像：行代表样本，列代表变量，有值记为浅色、缺失记为深色。它最大的价值在于揭示缺失的结构性——缺失是随机散落的点，还是集中在某些行、某些列，抑或呈现成块的连续区域。

以一份包含 500 条记录、8 个变量的传感器监测数据为例（以下数值为教学示例假设）：若缺失矩阵图显示“温度”列整列偏暗，说明该变量系统性缺失，可能是采集通道故障；若显示前 120 行整体偏暗，说明早期批次记录不完整，属于行方向的块状缺失；若“湿度”与“气压”两列在同一批行上同时变暗，则提示这两个变量的缺失存在耦合，可能源于同一次采集中断。这三种形态对应的处理策略完全不同：列缺失考虑剔除变量或更换数据源，行块缺失考虑按批次分层处理，耦合缺失则需要进一步做相关性分析。

缺失比例统计：量化严重程度

缺失矩阵图给出定性形态，缺失比例统计则给出定量指标。最基础的是逐变量缺失率，即某变量缺失值个数除以样本总数；与之配套的还有逐样本缺失率，用于发现“整行几乎为空”的记录。在示例数据中，湿度与气压的缺失率均为 30%，温度 24%，而电压、电流、转速、振动、噪声均在 8% 以下。这一分布直接决定了处理优先级：缺失率超过 20% 的变量需要重点评估是否保留，缺失率低于 10% 的变量通常可以放心插补。

除了单变量缺失率，还应统计联合缺失率与完全观测样本比例。联合缺失率指两个或多个变量同时缺失的样本占比；完全观测样本比例指所有变量都有值的样本占比。若完全观测样本比例过低（例如低于 50%），直接删除缺失行会导致样本量骤减，此时应优先考虑插补而非删除。示例数据中，若湿度与气压在前 120 行同时缺失，则二者的联合缺失率为 24%，而完全观测样本比例约为 55%，说明删除法会损失近一半样本，不宜采用。

变量间缺失相关性分析

缺失相关性分析回答的是“哪些变量的缺失是结伴发生的”。做法是把每个变量转换为 0/1 的缺失指示变量（1 表示缺失），然后计算这些指示变量之间的相关系数，常用 Phi 系数或 Cramér's V。若两个变量的缺失指示变量高度相关，说明它们的缺失由同一原因驱动，插补时可以利用这种关联——例如用气压的观测值辅助推断湿度的缺失。

在示例中，湿度与气压的缺失指示变量相关系数接近 0.9，属于强耦合；而温度与其他变量的缺失相关性均低于 0.2，说明温度缺失是相对独立的系统性问题。这一结论对后续处理有直接指导意义：耦合缺失适合用多变量插补方法（如链式方程多重插补），独立列缺失则更适合先核查数据源、再决定是否用单变量方法填补。

形成缺失问题诊断报告

三类分析完成后，应整合为一份结构化的诊断报告，作为后续处理方案的依据。报告至少应包含：数据概况（样本数、变量数、整体缺失率）、逐变量缺失率排序、缺失矩阵图及其形态判读、高相关缺失变量对及其相关系数、完全观测样本比例，以及基于以上证据给出的处理建议。下表给出示例数据的报告摘要（数值为教学示例假设）：

需要强调的是，三类分析应结合使用而非孤立看待。缺失矩阵图发现形态，缺失比例统计量化程度，相关性分析揭示耦合关系，三者互相印证才能形成可靠诊断。例如，若矩阵图显示某两列同步变暗，但相关性分析显示二者缺失指示变量相关很弱，则可能是视觉误判，应以统计量为准。完成诊断后，我们就具备了进入缺失值处理方案设计阶段的充分依据。