2. 实体解析基础概念：实体、身份、记录、匹配、合并与生存周期管理

实体解析（Entity Resolution, ER）的核心任务是从多源、异构、可能包含噪声的数据中，识别出描述同一现实世界对象的所有记录，并将其融合为统一、干净、可用的实体表示。要深入理解这一过程，必须首先掌握六个基础概念：实体、身份、记录、匹配、合并与生存周期管理。它们构成了实体解析批流一体架构的逻辑基石。

2.1 核心概念定义与对比

下表从定义、粒度、关键属性三个维度，对这六个概念进行对比，帮助建立全局认知。

2.2 概念关系与数据流

下图展示了从原始记录到最终实体的核心数据流，以及各概念在流程中的位置与作用。

2.3 各概念深度解析

2.3.1 实体 (Entity)

实体是数据治理与实体解析的最终目标。一个实体必须满足：

• 唯一性：同一实体在系统中只应存在一份权威表示。
• 稳定性：实体的核心属性（如身份证号、企业统一社会信用代码）不应频繁变更。
• 可标识性：能够通过一个或多个属性组合被唯一识别。

2.3.2 身份 (Identity)

身份是实体的“数字指纹”。常见的身份生成策略包括：

• 全局唯一标识符 (GUID/UUID)：随机生成，无业务含义，适合分布式系统。
• 业务主键：如身份证号、手机号，具有业务含义，但可能因隐私或变更导致问题。
• 哈希指纹：对关键属性进行哈希计算，用于快速去重与匹配。

2.3.3 记录 (Record)

记录是实体解析的输入。每条记录通常包含：

• 源系统标识：记录来自哪个数据源。
• 时间戳：记录产生或采集的时间。
• 属性集合：描述实体的具体字段，如姓名、地址、电话。

记录的质量直接影响匹配与合并的效果。常见问题包括：缺失值、格式不一致、拼写错误、过时数据。

2.3.4 匹配 (Match)

匹配是实体解析的核心计算环节。匹配算法通常输出一个相似度分数，并与预设阈值比较：

• 精确匹配：属性值完全一致。
• 模糊匹配：基于编辑距离、Jaro-Winkler、TF-IDF 等算法计算相似度。
• 规则匹配：基于业务规则（如“相同身份证号 + 姓名相似度 > 0.9”）进行判定。

2.3.5 合并 (Merge)

合并阶段需要解决以下冲突：

2.3.6 生存周期管理 (Lifecycle Management)

实体不是静态的。生存周期管理定义了实体状态的合法变迁路径：

• 创建：新实体首次被识别并写入系统。
• 更新：实体属性因新记录流入而发生变化。
• 合并：两个实体被判定为同一对象，合并为一个实体。
• 分裂：因误合并或新证据，一个实体被拆分为多个。
• 归档/删除：实体不再有效，被标记为历史状态。

下图展示了实体状态的典型变迁过程：

2.4 概念在批流一体架构中的映射

在批流一体实体解析系统中，上述概念对应不同的计算与存储组件：

• 记录：对应 Kafka 消息（流）或 HDFS 文件（批）。
• 匹配：对应 Flink 算子或 Spark 批处理任务中的相似度计算逻辑。
• 合并：对应状态后端（如 RocksDB）中的实体状态更新。
• 实体与身份：对应外部存储（如 HBase、MySQL）中的实体表。
• 生存周期管理：对应 Flink 定时器、状态 TTL 或批处理调度策略。