2、实体解析基础：实体解析的定义、核心流程（匹配、聚类、合并）、常见挑战（数据异构、缺失、噪声）
2.1 实体解析的定义
实体解析（Entity Resolution, ER）是指从单个或多个数据源中识别出指向同一真实世界实体的记录，并将这些记录合并为统一、干净、无冗余的实体表示的过程。在数据集成、数据清洗、知识图谱构建和客户数据平台（CDP）中，ER 是核心基础能力。
ER 的核心目标可以概括为：去重（消除同一实体的多条记录）与 链接（建立跨数据源的实体对应关系）。
关键术语对照： 实体解析在不同领域有不同名称——记录链接（Record Linkage）、数据匹配（Data Matching）、去重（Deduplication）、实体对齐（Entity Alignment）、共指消解（Coreference Resolution）。尽管名称各异，核心任务一致。
2.2 实体解析核心流程
标准 ER 流程包含三个主要阶段：匹配（Matching）、聚类（Clustering）、合并（Merging）。下图展示了完整的流水线架构。
2.2.1 匹配（Matching）
匹配阶段计算记录对之间的相似度，判定它们是否指向同一实体。匹配方法可分为三类：
| 匹配方法 | 原理 | 典型技术 | 适用场景 |
|---|---|---|---|
| 基于规则 | 人工定义属性比较规则与阈值 | 精确匹配、编辑距离、Jaro-Winkler | 小规模、属性质量高 |
| 基于机器学习 | 训练分类器判断匹配/非匹配 | 逻辑回归、随机森林、XGBoost | 中等规模、有标注数据 |
| 基于深度学习 | 自动学习属性表示与匹配模式 | Siamese BERT、Ditto、DeepER | 大规模、非结构化文本 |
实践建议： 匹配阶段通常先使用阻塞（Blocking）技术减少候选对数量，避免全量 O(n²) 比较。常用阻塞键包括：姓氏首字母、邮政编码、出生年份等。
2.2.2 聚类（Clustering）
匹配阶段产生的是记录对级别的判定，聚类阶段将这些成对关系聚合为实体簇——每个簇代表一个唯一的真实世界实体。常用聚类算法包括：
- 传递闭包（Transitive Closure）：若 A 匹配 B，B 匹配 C，则 A、B、C 归入同一簇。简单高效，但可能产生“长链错误”。
- 连通分量（Connected Components）：将匹配对视为图边，找出所有连通子图作为实体簇。
- 层次聚类（Hierarchical Clustering）：基于记录间相似度矩阵，自底向上或自顶向下构建簇层次。
- 图聚类（Graph Clustering）：如 Markov Clustering (MCL)、Louvain 算法，适用于大规模图结构。
注意： 传递闭包在匹配精度不足时容易产生“簇爆炸”——将大量不相关记录错误合并。建议在聚类前对低置信度匹配对进行二次验证。
2.2.3 合并（Merging）
合并阶段将同一实体簇内的多条记录融合为一条干净、完整的实体表示。合并需要解决以下问题：
| 合并挑战 | 描述 | 常用策略 |
|---|---|---|
| 属性冲突 | 不同记录对同一属性给出不同值 | 投票、可信度加权、时间戳优先 |
| 属性缺失 | 部分记录缺少某些属性值 | 跨记录填充、默认值、标记为缺失 |
| 格式不一致 | 同一属性使用不同表示格式 | 标准化转换、解析后统一 |
| 冗余信息 | 多条记录包含重复或子集信息 | 去重、保留最完整记录 |
2.3 常见挑战：数据异构、缺失、噪声
实体解析在实际应用中面临三大核心挑战，它们直接影响匹配精度和合并质量。下图展示了这些挑战在数据源中的表现。
2.3.1 数据异构（Heterogeneity）
数据异构是 ER 中最普遍的问题，指不同数据源在模式、格式、语义、粒度、编码上的不一致。例如：
- 模式异构： 数据源 A 用
customer_name，数据源 B 用client_fullname。 - 格式异构： 日期格式
2024-01-15vs01/15/2024；电话号码010-12345678vs+86-10-12345678。 - 语义异构： “北京市”与“北京”指同一城市，但字符串不同；“IBM”与“国际商业机器公司”指同一组织。
2.3.2 数据缺失（Missing Data）
缺失数据会严重削弱匹配能力——当两条记录的关键属性（如姓名、身份证号）缺失时，匹配算法难以建立关联。缺失类型包括：
- 完全随机缺失（MCAR）： 缺失与数据本身无关，如随机系统故障导致字段丢失。
- 随机缺失（MAR）： 缺失与其他观测变量相关，如年轻用户更倾向于不填写“职业”字段。
- 非随机缺失（MNAR）： 缺失与缺失值本身相关，如高收入人群故意不填写“收入”字段。
缺失对 ER 的影响： 当匹配依赖的属性缺失率超过 30% 时，传统基于精确匹配的方法召回率会急剧下降。此时需要引入缺失感知匹配策略，如使用多属性联合匹配、外部知识补全或概率模型。
2.3.3 数据噪声（Noise）
噪声指数据中存在的错误、不一致、异常值。常见噪声类型：
| 噪声类型 | 示例 | 对 ER 的影响 |
|---|---|---|
| 拼写错误 | “张珊”写成“张姗” | 精确匹配失败，需模糊匹配 |
| 格式混乱 | “138-1234-5678” vs “13812345678” | 字符串比较失真，需标准化 |
| 缩写不一致 | “北京市” vs “北京” vs “BJ” | 语义鸿沟，需词典映射 |
| 乱码/特殊字符 | “Müller” vs “Muller” | 字符级匹配失效，需编码处理 |
| 数据录入错误 | 出生年份“1990”误录为“1909” | 产生错误匹配或漏匹配 |
2.4 挑战之间的关联与应对思路
数据异构、缺失、噪声往往同时存在且相互加剧。例如：异构数据源中缺失模式不同（A 源缺邮箱，B 源缺电话），噪声又导致匹配时相似度计算偏差。本课程后续章节将逐一深入讲解针对这些挑战的检测与处理方法，特别是特征缺失检测技术——在匹配之前主动识别缺失模式，指导匹配策略选择与缺失值补全。
提前预告： 第 3 章将系统讲解特征缺失检测的通用框架，包括缺失模式识别、缺失率统计、缺失影响评估等核心步骤，为后续的缺失处理奠定基础。