4. 相似度度量方法

在实体解析（Entity Resolution）流程中，相似度度量是决定两条记录是否指向同一真实世界实体的核心计算环节。不同的度量方法适用于不同的数据类型与业务场景，从精确的字符级匹配到模糊的语义级匹配，构成了一个完整的度量工具链。本节将系统讲解四种主流相似度度量方法：编辑距离、Jaccard系数、余弦相似度以及基于深度学习的语义相似度。

4.1 编辑距离（Edit Distance / Levenshtein Distance）

编辑距离衡量两个字符串之间相互转换所需的最少单字符编辑操作次数，允许的操作包括：插入、删除、替换。该指标对拼写错误、输入变体、OCR识别误差等场景具有极高的敏感度。

核心公式与计算逻辑

设两个字符串为 \( s \) 和 \( t \)，长度分别为 \( m \) 和 \( n \)。编辑距离 \( d(m, n) \) 通过动态规划递推计算：

初始化矩阵 D，大小为 (m+1) × (n+1)
D[i][0] = i  (0 ≤ i ≤ m)
D[0][j] = j  (0 ≤ j ≤ n)

对于 i = 1..m, j = 1..n:
  cost = 0  if s[i-1] == t[j-1] else 1
  D[i][j] = min(
    D[i-1][j] + 1,        // 删除
    D[i][j-1] + 1,        // 插入
    D[i-1][j-1] + cost    // 替换
  )

最终编辑距离 = D[m][n]

归一化编辑距离

为消除字符串长度对距离值的影响，通常将编辑距离归一化到 [0, 1] 区间：

归一化相似度 = 1 - (编辑距离 / max(len(s), len(t)))

4.2 Jaccard系数（Jaccard Coefficient）

Jaccard系数用于衡量两个集合之间的相似度，定义为交集大小与并集大小的比值。在文本相似度计算中，通常先将字符串切分为词袋（Bag of Words）或n-gram集合，再计算Jaccard系数。

定义与公式

J(A, B) = |A ∩ B| / |A ∪ B|

其中 A、B 为两个集合
J(A, B) ∈ [0, 1]
J(A, B) = 1 表示两个集合完全相同
J(A, B) = 0 表示两个集合没有交集

文本应用：n-gram Jaccard

对于字符串“实体解析”与“实体识别”，使用2-gram（bigram）切分：

字符串A: "实体解析"
bigram集合: {"实体", "体解", "解析"}

字符串B: "实体识别"
bigram集合: {"实体", "体识", "识别"}

交集: {"实体"}
并集: {"实体", "体解", "解析", "体识", "识别"}
Jaccard = 1 / 5 = 0.2

4.3 余弦相似度（Cosine Similarity）

余弦相似度通过测量两个向量在向量空间中的夹角余弦值来评估相似度，广泛应用于文本向量化后的相似度计算。在实体解析中，通常配合TF-IDF或词嵌入使用。

定义与公式

cos(θ) = (A · B) / (||A|| × ||B||)

其中 A、B 为 n 维向量
A · B 为点积
||A|| 为向量 A 的 L2 范数
cos(θ) ∈ [-1, 1]，在文本场景通常为 [0, 1]

TF-IDF + 余弦相似度示例

假设两个实体描述文本：

文档A: "苹果公司发布新款iPhone手机"
文档B: "苹果推出iPhone智能手机"

TF-IDF向量化后（简化表示）:
A: [苹果:0.8, 公司:0.6, 发布:0.7, 新款:0.5, iPhone:0.9, 手机:0.4]
B: [苹果:0.8, 推出:0.7, iPhone:0.9, 智能:0.6, 手机:0.4]

余弦相似度 = (0.8×0.8 + 0.9×0.9 + 0.4×0.4) / (√(0.8²+0.6²+0.7²+0.5²+0.9²+0.4²) × √(0.8²+0.7²+0.9²+0.6²+0.4²))
           ≈ 0.72

三种度量方法对比

4.4 基于深度学习的语义相似度

传统度量方法无法捕捉同义词、句法变换、上下文语义等深层关系。基于深度学习的语义相似度通过神经网络将文本映射到高维语义空间，使语义相近的文本在向量空间中距离更近。

主流技术路线

Sentence-BERT 在实体解析中的应用

Sentence-BERT（SBERT）是目前实体解析领域最常用的语义相似度模型之一。它使用孪生（Siamese）或三胞胎（Triplet）网络结构，将两个句子编码为固定长度向量，然后通过余弦相似度或欧氏距离计算相似度。

# 使用 Sentence-BERT 计算实体相似度示例
from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')

# 实体描述对
entity_a = "北京市朝阳区建国路88号"
entity_b = "北京朝阳区建国路88号"
entity_c = "上海市浦东新区陆家嘴"

# 编码为向量
emb_a = model.encode(entity_a)
emb_b = model.encode(entity_b)
emb_c = model.encode(entity_c)

# 计算余弦相似度
sim_ab = util.cos_sim(emb_a, emb_b)  # 0.96 (地址变体)
sim_ac = util.cos_sim(emb_a, emb_c)  # 0.45 (不同地址)

print(f"相似度 A-B: {sim_ab.item():.4f}")
print(f"相似度 A-C: {sim_ac.item():.4f}")

深度学习相似度的挑战与应对

• 计算成本高：GPU推理延迟比编辑距离高2-3个数量级。应对策略：使用模型蒸馏、量化、ONNX加速，或仅对候选对（Candidate Pairs）进行语义评分。
• 领域适配需求：通用预训练模型在特定领域（如医疗、法律）表现下降。应对策略：使用领域微调（Fine-tuning）或领域适配预训练（Domain-adaptive Pretraining）。
• 可解释性不足：神经网络是黑盒模型，难以解释为何判定两条记录相似。应对策略：结合注意力可视化、SHAP值分析，或保留传统方法作为可解释性兜底。
• 长文本处理：Transformer模型有输入长度限制（通常512 ）。应对策略：使用Longformer、BigBird等长文本模型，或对实体描述进行关键信息抽取后再编码。

4.5 度量方法选择矩阵

在实际实体解析项目中，通常需要根据数据类型、数据质量、性能要求等因素综合选择相似度度量方法。下表提供了基于不同场景的选择参考：