1. 课程导论：特征缺失检测在实体解析中的重要性
1.1 为什么特征缺失检测是实体解析的“隐形杀手”
实体解析（Entity Resolution, ER）的核心任务是从多个数据源中识别出指向同一真实世界实体的记录。在实际业务中，数据源往往存在大量特征缺失——例如客户姓名缺失、地址不完整、身份证号为空等。这些缺失值会直接破坏相似度计算、阻断匹配链路，导致实体解析的召回率与精确率双双下降。
关键洞察： 在真实生产环境中，超过 60% 的实体解析失败案例与特征缺失的未处理或处理不当直接相关。特征缺失检测不是“可选项”，而是实体解析流水线的第一道质量关卡。
1.2 特征缺失对实体解析的三重破坏
| 破坏维度 | 具体表现 | 后果严重性 |
|---|---|---|
| 相似度失真 | 缺失值被当作“空字符串”参与 Jaccard / Levenshtein 计算，导致相似度异常偏低或偏高 | 高：直接产生假阴性或假阳性匹配 |
| 阻断规则失效 | 基于关键字段（如身份证号、邮箱）的 blocking 规则因缺失而跳过大量候选对 | 高：召回率断崖式下跌 |
| 模型偏差放大 | 机器学习匹配模型在缺失特征上学习到错误权重，泛化能力严重受损 | 中高：模型上线后性能不可控 |
1.3 课程目标与适用人群
本课程旨在系统性地构建从特征缺失检测到缺失补偿策略的完整知识体系，帮助学员在实体解析项目中建立可复用的缺失检测与处理框架。
- 核心目标： 掌握 8 种以上特征缺失检测算法、3 种缺失模式分类方法、以及基于缺失特征的实体解析优化策略。
- 适用人群：
- 数据质量工程师：需要建立自动化缺失检测流水线
- 实体解析算法工程师：希望提升匹配模型在缺失场景下的鲁棒性
- 数据架构师：设计高可用、高可信的数据融合方案
- 数据分析师：理解缺失数据对下游分析决策的传导影响
学习建议： 本课程包含大量代码示例与实战案例，建议学员具备 Python 基础以及 pandas、numpy 的基本使用经验。
1.4 特征缺失检测在实体解析流水线中的位置
下图展示了特征缺失检测作为实体解析流水线的前置质量关卡，其输出直接影响后续的 blocking、相似度计算与匹配决策。
1.5 课程整体大纲概览
本课程共分为 8 个模块，从基础理论到高级实战，层层递进：
| 模块 | 章节范围 | 核心内容 |
|---|---|---|
| 模块一：基础篇 | 第 1-4 章 | 特征缺失检测基础概念、缺失模式分类、缺失率统计与可视化 |
| 模块二：算法篇 | 第 5-12 章 | 8 种缺失检测算法详解：空值检测、模式匹配、分布偏移、相关性分析等 |
| 模块三：策略篇 | 第 13-18 章 | 缺失补偿策略：删除、填充、插值、模型预测、多源融合 |
| 模块四：工程篇 | 第 19-23 章 | 大规模数据缺失检测流水线设计、性能优化、监控告警 |
| 模块五：实战篇 | 第 24-27 章 | 客户数据、医疗数据、金融数据三大场景的完整案例 |
| 模块六：评估篇 | 第 28-30 章 | 缺失检测效果评估指标、A/B 测试、持续改进框架 |
1.6 缺失检测的核心挑战与应对思路
在正式进入课程之前，我们先建立对特征缺失检测核心挑战的全局认知：
- 挑战一：缺失模式多样性 —— 完全随机缺失（MCAR）、随机缺失（MAR）、非随机缺失（MNAR）需要不同的检测策略。
- 挑战二：缺失与噪声的混淆 —— 空字符串、占位符（如 "NULL"、"N/A"）、默认值（如 "0"）与真实缺失难以区分。
- 挑战三：大规模数据的检测效率 —— 在亿级记录上逐字段扫描缺失，需要高效的分布式检测算法。
- 挑战四：缺失对下游的传导影响 —— 单一字段的缺失可能通过特征工程扩散到多个衍生特征。
常见误区： 很多团队在实体解析项目中直接跳过缺失检测，或仅做简单的空值检查。这种做法在数据质量较高时可能“侥幸过关”，但一旦遇到缺失率超过 10% 的数据源，实体解析效果会急剧恶化。本课程将帮助你建立系统化的缺失检测思维，避免“亡羊补牢”。