3. 重复记录识别入门
在金融数据治理中，重复记录识别是冲突版本处理的第一道关口。同一客户在CRM、核心账务、信贷、反洗钱系统中可能以不同形态出现：身份证号一致但姓名有空格，手机号相同但地址写法不同，机构名称存在“有限公司”与“有限责任公司”的差异。若不能先识别出“哪些记录指向同一实体”，后续的版本合并、主数据对齐和监管报送都会失去可靠基础。本节从精确匹配出发，逐步过渡到模糊匹配与相似度度量，建立可落地的识别框架。
一、核心原理：从“相等”到“相似”的三层判断
重复记录识别的本质是判断两条记录是否指向同一现实实体。判断依据可分为三个层次：
- 精确匹配：要求字段值完全相等，如身份证号、统一社会信用代码、证券账户号。优点是零误报、速度快；缺点是容错性差，一个空格或全半角差异就会漏判。
- 模糊匹配：允许字段存在可控差异，通过规则或相似度算法判断“是否足够像”。适用于姓名、地址、机构名称等易变字段。
- 相似度度量：为模糊匹配提供量化分数，把“像不像”转化为0到1之间的数值，再通过阈值决定是否判重。
关键认知：精确匹配解决“确定同一”，模糊匹配解决“可能同一”，相似度度量解决“有多可能同一”。三者不是替代关系，而是分层协作关系。
二、方法流程：分层识别与阈值决策
一个稳健的重复识别流程通常按以下顺序推进：
- 标准化预处理：去除空格、统一大小写、全角转半角、统一证件类型编码、地址分词归一。
- 精确匹配层：对高置信字段（证件号、账号）做等值连接，直接标记为重复。
- 模糊匹配层：对姓名、地址、电话等字段计算相似度，生成候选对。
- 综合评分：按字段权重加权求和，得到整体相似度。
- 阈值决策：高于高阈值判重，低于低阈值判非重，中间区间转人工复核。
下面是一个简化的相似度加权评分示例：
字段权重配置：
证件号 weight = 0.50 精确匹配
姓名 weight = 0.20 编辑距离
手机号 weight = 0.15 精确匹配
地址 weight = 0.15 Jaccard
综合相似度 = 0.50*证件分 + 0.20*姓名分 + 0.15*手机分 + 0.15*地址分
阈值策略：
score >= 0.90 → 自动判重
0.70 <= score < 0.90 → 人工复核
score < 0.70 → 判为非重复三、相似度度量：编辑距离、Jaccard与余弦相似度
三种度量各有适用场景，理解其计算逻辑是选型的关键。
| 度量方法 | 核心思想 | 适用字段 | 优点 | 局限 |
|---|---|---|---|---|
| 编辑距离 | 把字符串A改成B所需的最少增删改次数 | 姓名、短地址、机构简称 | 直观、可解释 | 对长文本和词序不敏感 |
| Jaccard相似度 | 两个集合交集大小除以并集大小 | 地址分词、标签集合 | 适合集合型特征 | 忽略词频和顺序 |
| 余弦相似度 | 两个向量夹角的余弦值 | 文本向量、TF-IDF特征 | 适合高维稀疏文本 | 需先向量化，解释性稍弱 |
编辑距离常转化为归一化相似度：相似度 = 1 - 编辑距离 / max(长度A, 长度B)。例如“张三”与“张 三”编辑距离为1，归一化后相似度约为0.67，提示需要预处理去空格。
Jaccard相似度适合地址：“北京市朝阳区建国路88号”与“北京朝阳建国路88号”分词后集合交集大，Jaccard值高，能有效识别同一地址的不同写法。
余弦相似度适合机构名称或描述文本，通过TF-IDF向量化后计算夹角，能捕捉“中国工商银行股份有限公司”与“工商银行”之间的语义接近程度。
选型建议：短字段优先编辑距离，集合型字段优先Jaccard，长文本优先余弦相似度。实际项目中常组合使用，而非单一依赖某一种。
四、案例场景：客户主数据去重
某银行客户主数据中存在两条记录：
记录A：姓名=张伟, 证件号=110101199001011234, 手机=13800001111, 地址=北京市朝阳区建国路88号
记录B：姓名=张 伟, 证件号=110101199001011234, 手机=13800001111, 地址=北京朝阳建国路88号处理过程：证件号与手机号精确匹配得分1.0；姓名经去空格后编辑距离为0，得分1.0；地址Jaccard相似度约0.85。加权综合得分约0.98，超过0.90阈值，自动判重。若仅用精确匹配，姓名中的空格会导致漏判；若仅用模糊匹配，又可能把同名的不同客户误判。分层组合显著提升了准确率与召回率。
五、误区与复盘
常见误区一：只做精确匹配。金融数据中大量字段存在录入差异，仅靠等值连接会漏掉大量真实重复，导致主数据分散。
常见误区二：相似度阈值一刀切。不同字段、不同业务线的容错要求不同，统一阈值会造成高误报或高漏报。
常见误区三：忽略预处理。未做去空格、全半角、大小写归一，会让编辑距离和Jaccard结果严重失真。
常见误区四：把相似度当唯一依据。相似度高不等于同一实体，必须结合高置信字段和业务规则综合判断。
复盘时建议记录每次判重的得分分布、人工复核结果和误判样本，持续调整字段权重与阈值。重复记录识别不是一次性配置，而是随数据质量变化不断校准的过程。掌握精确匹配、模糊匹配与相似度度量的基本原理，是后续冲突版本合并与主数据治理的必要前提。