4、特征缺失检测概述：检测的目标、检测的粒度（记录级、字段级、值级）、检测与后续处理的衔接

特征缺失检测是实体解析流程中承上启下的关键环节。在完成特征工程与初步清洗后，数据中仍可能存在因采集遗漏、传输中断、格式冲突或业务规则变更导致的特征缺失。本章系统阐述缺失检测的三大核心问题：检测目标、检测粒度以及与后续处理的衔接，为后续的缺失值填充与实体匹配奠定基础。

4.1 检测目标：从“发现缺失”到“量化影响”

特征缺失检测并非简单地标记空值，而是围绕以下三个层次的目标展开：

• 发现缺失：识别数据集中所有不符合完整性约束的特征值，包括显式空值（NULL）、隐式缺失（占位符如“-1”、“Unknown”）以及逻辑缺失（如年龄字段出现负数）。
• 量化缺失程度：统计每个特征、每条记录或每个字段的缺失率，评估缺失对实体解析准确性的潜在影响。例如，当“身份证号”缺失率超过30%时，实体匹配的置信度将显著下降。
• 定位缺失模式：分析缺失是否随机分布（MCAR）、是否与某些特征相关（MAR）或是否由系统原因导致（MNAR）。不同模式决定了后续处理策略的选择。

4.2 检测粒度：记录级、字段级、值级

特征缺失检测需要在三个粒度上分别进行，每个粒度对应不同的检测逻辑与输出结果。下表对比了三种粒度的核心差异：

4.2.1 记录级检测

记录级检测关注整条记录的完整性。通常采用记录完整性评分机制：为每个特征分配权重（如关键标识符权重0.4，辅助特征权重0.1），计算记录中非缺失特征的加权和。当评分低于阈值（如0.6）时，该记录被标记为“高风险记录”，在实体解析中将被降权或暂缓匹配。

4.2.2 字段级检测

字段级检测以列为单位，统计每个特征的缺失率与缺失模式。常用的检测方法包括：

• 缺失率统计：计算每个字段的缺失比例，设定告警阈值（如缺失率>50%时触发特征废弃建议）。
• 缺失模式分析：使用热力图或关联矩阵，识别哪些字段经常同时缺失（如“手机号”与“邮箱”常同时缺失，暗示同一采集渠道问题）。

4.2.3 值级检测

值级检测是最细粒度的检测，直接定位到每个单元格。除了识别NULL值外，还需检测以下隐式缺失：

• 占位符缺失：如“N/A”、“-1”、“9999”、“Unknown”。
• 逻辑缺失：如“出生日期”为“1900-01-01”但实际并非该日期；或“收入”字段为0但业务上不应为0。
• 格式异常缺失：如“电话号码”字段包含非数字字符，导致无法解析为有效号码。

4.3 检测与后续处理的衔接

特征缺失检测不是终点，而是为后续处理提供决策依据。检测结果与后续处理的衔接主要体现在以下三个环节：

1. 缺失值填充策略选择：检测结果中的缺失模式（MCAR/MAR/MNAR）直接决定填充算法。例如，MCAR模式适合均值/中位数填充；MAR模式适合回归或模型预测填充；MNAR模式则需要引入外部数据或业务规则。
2. 实体匹配权重调整：记录级检测输出的完整性评分，用于动态调整实体匹配时的特征权重。完整性高的记录，其关键特征权重可适当提升；完整性低的记录，则降低其匹配置信度或转入人工审核。
3. 数据质量反馈闭环：字段级检测发现的系统性缺失（如某字段缺失率持续>80%），应反馈至数据采集或ETL环节，推动上游修复，而非仅在下游被动填充。

4.4 检测结果的标准化输出

为了确保检测结果能被后续模块无缝消费，建议采用统一的输出格式。以下是一个标准化的缺失检测输出示例：

{
  "detection_id": "DET-20250321-001",
  "dataset": "customer_profile_v3",
  "timestamp": "2025-03-21T14:30:00Z",
  "record_level": {
    "total_records": 100000,
    "high_risk_records": 3200,
    "threshold": 0.6,
    "scoring_method": "weighted_sum"
  },
  "field_level": [
    {"field": "id_card", "missing_rate": 0.08, "pattern": "MAR", "action": "model_fill"},
    {"field": "phone", "missing_rate": 0.15, "pattern": "MCAR", "action": "mean_fill"},
    {"field": "income", "missing_rate": 0.35, "pattern": "MNAR", "action": "external_source"}
  ],
  "value_level": {
    "null_count": 45000,
    "placeholder_count": 12000,
    "logical_anomaly_count": 3000,
    "placeholder_dictionary": ["N/A", "-1", "Unknown", "9999"]
  }
}