实体解析批流一体从入门到实战 - 第1节
1.1 实体解析的定义
实体解析（Entity Resolution, ER）是数据质量管理与数据集成领域的核心技术，指从不同数据源或同一数据源内部识别出指向同一真实世界实体的记录，并将其关联或合并的过程。在现实业务中，同一客户、产品、设备等实体往往以多种形式分散存储于多个系统中，实体解析正是解决这种“数据碎片化”问题的关键手段。
1.2 核心目标：去重、链接、融合
实体解析的三大核心目标构成了完整的数据治理闭环，三者之间既有递进关系，又各自解决不同层面的数据问题。
| 核心目标 | 定义 | 典型场景 | 输出产物 |
|---|---|---|---|
| 去重 | 在单一数据源内消除重复记录，保留唯一实体 | CRM 系统中同一客户录入多次 | 干净的唯一实体表 |
| 链接 | 跨数据源建立记录间的对应关系 | 订单系统与物流系统的客户 ID 映射 | 实体链接图谱 |
| 融合 | 将多条记录合并为一条完整、一致的实体信息 | 合并姓名、地址、电话等字段 | 黄金记录（Golden Record） |
去重（Deduplication）
去重是实体解析最基础的应用。当同一数据源中存在多条记录指向同一实体时，需要通过精确匹配或模糊匹配识别重复项。例如，用户“张三”与“张 三”在姓名上存在微小差异，但实际为同一人。去重通常采用阻塞（Blocking）策略缩小比较范围，再通过相似度函数判定。
链接（Linking）
链接解决的是跨数据源的实体对应问题。不同系统对同一实体的标识方式可能完全不同：电商系统的 user_id 为 1001，而客服系统的 customer_code 为 C2024-001。实体链接通过属性匹配建立两者之间的映射关系，形成跨系统的实体关联网络。
融合（Fusion）
融合是实体解析的最终输出阶段。在确定多条记录指向同一实体后，需要从各记录中提取最准确、最完整的属性值，合并为一条“黄金记录”。融合过程涉及冲突解决策略，如时间戳优先、来源可信度加权等。
1.3 实体解析在数据治理中的价值
实体解析是数据治理从“被动合规”走向“主动赋能”的核心能力。以下从四个维度阐述其战略价值：
- 提升数据质量：消除重复、补全缺失、纠正冲突，直接改善完整性、一致性、准确性等数据质量维度。
- 支撑客户 360 视图：将分散在 CRM、ERP、客服、营销等系统的客户信息统一为单一视图，驱动精准营销与个性化服务。
- 降低运营成本：避免重复邮寄、重复服务、重复建账等资源浪费，减少因数据不一致导致的业务差错。
- 满足合规要求：在 GDPR、个人信息保护法等法规下，实体解析是实现数据主体统一管理、删除、导出等权利的技术基础。
1.4 批流一体的概念引入
传统实体解析主要采用批处理模式：定期（如每日凌晨）对全量数据进行扫描、匹配、合并。这种模式在数据量稳定、实时性要求不高的场景下可行，但面对实时数据流入、增量更新、近实时去重等需求时，批处理存在明显短板。
批流一体（Batch-Stream Integration） 是指在同一套技术架构中，同时支持批量处理（Batch Processing）与流式处理（Stream Processing），使实体解析既能处理历史全量数据，又能实时响应新增或变更的数据事件。
- 统一数据口径：批与流使用相同的匹配逻辑与融合规则
- 降低运维复杂度：一套代码、一套配置、一套部署
- 支持增量与全量混合：历史数据批量回溯，实时数据流式接入
- 保证最终一致性：流处理结果可被批处理定期校正
下图展示了实体解析批流一体的整体架构，包含数据源层、处理层与输出层，以及批与流两条处理路径的协同关系。
1.5 本章小结
实体解析是数据治理中识别、链接与融合实体的核心技术，其三大目标——去重、链接、融合——构成了从数据清洗到黄金记录输出的完整链路。在数据治理体系中，实体解析直接支撑客户 360 视图、运营降本与合规要求。批流一体的引入，使得实体解析能够同时处理历史全量数据与实时增量数据，为现代数据架构提供了统一、高效、可扩展的解决方案。