4. 批处理模式详解：离线全量实体解析流程、数据分桶、Blocking 与 Sorted Neighborhood 方法、批量匹配与合并策略
批处理模式是实体解析的基石，适用于离线、全量、高吞吐的场景。本章深入解析离线全量实体解析的完整流程，重点讲解数据分桶、Blocking 与 Sorted Neighborhood 方法，以及批量匹配与合并策略。掌握这些内容，你将能够构建稳定、高效的批处理实体解析管道。
4.1 离线全量实体解析流程
离线全量实体解析通常按以下阶段顺序执行，每个阶段都有明确的输入与输出。
| 阶段 | 输入 | 核心操作 | 输出 |
|---|---|---|---|
| 1. 数据加载与清洗 | 原始数据源（CSV、数据库、日志） | 去重、标准化、缺失值处理 | 标准化记录集 |
| 2. 数据分桶 | 标准化记录集 | 基于分桶键将记录分配到桶 | 桶列表（每个桶包含候选记录） |
| 3. Blocking / Sorted Neighborhood | 桶列表 | 生成候选记录对 | 候选对集合 |
| 4. 批量匹配 | 候选对集合 | 应用相似度函数与阈值 | 匹配对集合 |
| 5. 聚类与合并 | 匹配对集合 | 传递闭包、实体 ID 分配 | 解析后的实体集合 |
| 6. 结果输出 | 实体集合 | 写入目标存储 | 实体表、映射表 |
关键原则： 离线全量流程的核心在于“分而治之”——通过分桶和 Blocking 将 O(n²) 的全局比较降为 O(桶内比较)，从而在可接受时间内完成大规模实体解析。
4.2 数据分桶
数据分桶是将记录按某个或某几个属性（分桶键）分配到不同桶中的过程。分桶的目的是将可能相似的记录聚集到同一个桶内，减少不必要的跨桶比较。
4.2.1 分桶键选择
- 高区分度属性： 如身份证号、邮箱、手机号，能有效将记录分散到大量桶中。
- 低区分度属性： 如性别、省份，会导致桶过大，失去分桶意义。
- 组合键： 使用多个属性组合（如“姓氏首字母 + 出生年份”）平衡桶大小。
4.2.2 分桶策略对比
| 策略 | 描述 | 优点 | 缺点 |
|---|---|---|---|
| 精确分桶 | 分桶键完全相等 | 桶内记录高度相似，比较次数少 | 可能遗漏因拼写错误导致的相似记录 |
| 模糊分桶 | 分桶键经过标准化（如小写、去空格、Soundex） | 容忍轻微差异，召回率更高 | 桶内记录增多，比较次数上升 |
| 多键分桶 | 使用多个分桶键分别分桶，取并集 | 覆盖不同相似维度，召回率最高 | 候选对数量可能膨胀，需后续过滤 |
实践建议： 在数据质量较高时优先使用精确分桶；当数据存在较多噪声时，采用模糊分桶或多键分桶，并在匹配阶段使用高阈值控制精度。
4.3 Blocking 与 Sorted Neighborhood 方法
Blocking 和 Sorted Neighborhood 是两种经典的候选对生成方法，它们决定了后续匹配的计算量。
4.3.1 Blocking 方法
Blocking 将记录分配到互不相交的块（Block）中，仅在块内进行两两比较。块通常基于分桶键的哈希值或直接基于分桶键值。
- 标准 Blocking： 每个记录只属于一个块，块间无重叠。
- 重叠 Blocking： 记录可属于多个块（如多键分桶），提高召回率。
- Q-gram Blocking： 将字符串分解为 Q-gram 子串，每个子串作为一个块键，适合处理拼写变体。
4.3.2 Sorted Neighborhood 方法
Sorted Neighborhood 先将记录按排序键排序，然后使用一个固定大小的滑动窗口在排序后的列表上滑动，窗口内的记录两两比较。
- 排序键： 通常选择姓名、地址等字符串属性，或它们的标准化形式。
- 窗口大小 w： 控制比较范围。w 越大，召回率越高，但计算量也越大。
- 多趟 Sorted Neighborhood： 使用不同的排序键运行多趟，取并集，进一步提高召回率。
| 特性 | Blocking | Sorted Neighborhood |
|---|---|---|
| 数据结构 | 哈希表 / 桶 | 排序列表 + 滑动窗口 |
| 比较范围 | 桶内所有记录对 | 窗口内所有记录对 |
| 对排序键依赖 | 低（依赖分桶键） | 高（依赖排序键质量） |
| 适合场景 | 分桶键区分度高 | 数据可排序且排序键有效 |
| 可扩展性 | 易于并行（桶间独立） | 窗口滑动需全局排序，并行较复杂 |
避坑提示： Sorted Neighborhood 的窗口大小 w 设置过小会导致大量真实匹配被遗漏；设置过大则退化为全局比较。建议通过采样数据预估 w 的合理范围，通常从 10 开始尝试。
4.3.3 Blocking 与 Sorted Neighborhood 流程对比图
4.4 批量匹配与合并策略
生成候选对后，进入批量匹配与合并阶段。这一阶段需要平衡精度与召回率，并处理复杂的实体关系。
4.4.1 批量匹配
批量匹配对候选对集合中的每一对记录计算相似度，并与阈值比较，判定是否为匹配。
- 相似度函数： 编辑距离、Jaccard 相似度、余弦相似度、基于规则的精确匹配等。
- 阈值策略： 单一阈值、多级阈值（高阈值确定匹配，低阈值人工审核）。
- 并行化： 候选对集合可分区并行计算，每个分区独立执行匹配逻辑。
4.4.2 合并策略
匹配对集合需要进一步处理，以形成最终的实体簇。常见的合并策略包括：
| 策略 | 描述 | 适用场景 |
|---|---|---|
| 传递闭包 | 若 A 匹配 B，B 匹配 C，则 A、B、C 属于同一实体 | 标准实体解析，关系简单 |
| 中心合并 | 选择一个记录作为实体中心，其他匹配记录合并到中心 | 需要保留主记录的场景 |
| 图聚类 | 使用连通分量、Louvain 等算法对匹配图进行聚类 | 复杂关系、多对多匹配 |
| 增量合并 | 按匹配置信度排序，逐步合并，避免错误传播 | 高精度要求，允许分步处理 |
4.4.3 批量匹配与合并流程
4.4.4 合并策略选择建议
- 数据质量高、匹配对可靠： 优先使用传递闭包，简单高效。
- 需要保留主记录（如客户主数据）： 使用中心合并，指定主记录生成规则。
- 匹配关系复杂、存在多对多： 使用图聚类，如连通分量算法。
- 对精度要求极高： 使用增量合并，按置信度排序，逐步合并并人工审核低置信度对。
性能优化提示： 批量匹配阶段可引入“剪枝”策略——在计算完整相似度前，先使用快速近似方法（如 SimHash、MinHash）过滤掉明显不匹配的对，减少计算开销。
4.5 本章小结
批处理模式通过数据分桶、Blocking / Sorted Neighborhood 方法，将全局比较问题转化为局部比较问题，是离线实体解析的核心技术。批量匹配与合并策略的选择直接影响最终实体解析的质量。掌握这些方法，你就能构建出高效、可靠的批处理实体解析管道，为后续的流式处理打下坚实基础。