3. 特征缺失问题定义
在实体解析（Entity Resolution, ER）任务中，特征缺失是指用于判定两条记录是否指向同一真实世界实体的属性值（如姓名、地址、电话等）部分或全部不可用。特征缺失不仅降低匹配准确率，还会导致相似度计算偏差、阻塞策略失效和聚类结果失真。理解缺失的机制与类型，是设计鲁棒缺失检测与补全策略的前提。
3.1 什么是特征缺失
特征缺失并非简单的“空值”。在实体解析场景下，缺失可能表现为：
- 显式缺失：数据库字段为 NULL、空字符串或占位符（如 “N/A”、“-”）。
- 隐式缺失：字段存在值，但该值因录入错误、格式混乱或语义漂移而无法用于匹配（如 “张三” 被误录为 “张3”，或地址只写到城市级）。
- 结构缺失：记录本身缺少某个属性列（如跨源数据中，源 A 有“手机号”，源 B 无此字段）。
实践提示： 在实体解析项目中，建议将“空字符串”、“仅含空白符”、“占位符”统一归为缺失，并在预处理阶段标准化为 NULL，避免相似度函数误判为有效值。
3.2 缺失类型：MCAR、MAR、MNAR
根据缺失机制与观测数据的关系，特征缺失可分为三类。下表总结了核心差异：
| 类型 | 全称 | 缺失是否依赖其他变量 | 缺失是否依赖缺失值本身 | 典型场景 |
|---|---|---|---|---|
| MCAR | 完全随机缺失 | 否 | 否 | 系统随机采样失败、传输丢包 |
| MAR | 随机缺失 | 是（依赖已观测变量） | 否 | 年轻人更可能缺失“职称”字段 |
| MNAR | 非随机缺失 | 是（依赖未观测变量或缺失值本身） | 是 | 高收入人群故意隐藏收入字段 |
3.2.1 完全随机缺失（MCAR）
缺失的发生完全独立于任何观测或未观测变量。例如，服务器在传输记录时随机丢失了 5% 的“邮箱”字段。MCAR 是最理想的缺失类型，因为基于完整数据的分析仍保持无偏性，但实际数据中极少严格满足。
3.2.2 随机缺失（MAR）
缺失概率依赖于其他已观测到的变量，但与缺失值本身无关。例如，在客户数据中，“收入”字段的缺失概率与“职业”和“学历”相关（已观测），但一旦控制了这些变量，缺失与否与收入高低无关。MAR 是实体解析中最常见的缺失类型，可通过多重插补或基于模型的补全方法处理。
3.2.3 非随机缺失（MNAR）
缺失概率与缺失值本身有关，即使控制了其他变量也无法消除。例如，患有某种疾病的患者更可能拒绝填写“症状”字段。MNAR 最难处理，通常需要引入外部信息或领域知识进行敏感性分析。
注意： 在实体解析中，MNAR 会导致匹配偏差——例如，缺失“手机号”的记录可能来自特定人群，若直接删除这些记录，会系统性丢失某些实体类型，造成召回率下降。
3.3 缺失对实体解析的影响
特征缺失从多个层面破坏实体解析流程，具体影响如下：
- 相似度计算失真：缺失值参与编辑距离、Jaccard 系数或余弦相似度计算时，会拉低或虚高分数。例如，两条记录均缺失“电话”字段，若简单将缺失视为相等，会错误提升相似度。
- 阻塞策略失效：基于关键字段（如姓氏首字母+出生年份）的阻塞方案，若该字段缺失，记录会被分入错误块或遗漏块，导致匹配对丢失。
- 分类器偏差：基于机器学习的匹配模型在训练时若未正确处理缺失，会学到错误的权重模式，导致对缺失特征的记录产生系统性误判。
- 聚类结果碎片化：在实体聚类阶段，缺失特征可能导致本应合并的实体被拆分为多个孤立簇，降低聚类纯度。
关键指标： 在真实客户数据集中，当“手机号”缺失率从 5% 升至 20% 时，实体解析的 F1 分数平均下降 12-18 个百分点，且召回率下降幅度（约 15%）显著高于精确率（约 5%），说明缺失对“找到正确匹配”的伤害更大。