📚 课程目录第3章供应商数据质量问题

3. 供应商数据质量问题

在采购支出数据仓库的供应商整合过程中，数据质量是决定归并成败的核心因素。供应商主数据通常来自多个异构源系统（ERP、SRM、财务系统、手工台账），脏数据问题普遍存在且形式多样。本章系统梳理六大类常见脏数据场景，并给出每一类的典型表现、影响程度与初步处理方向。

重复记录是最常见的数据质量问题，指同一供应商在源系统中存在多条记录，但关键标识字段不完全一致。重复记录会导致采购支出被分散统计、供应商绩效评估失真、付款对象混淆。

  ETL处理要点： 重复记录检测不能仅依赖单一字段，必须组合使用名称相似度（如Jaro-Winkler算法）、税号归一化、地址标准化等多维匹配策略。建议在供应商整合层建立全局唯一标识（GUID），并保留源系统编码映射表。

供应商名称在不同系统、不同时间点的录入格式差异极大，是归并匹配的主要障碍。命名不一致包括全称与简称混用、中英文混写、特殊字符干扰、空格与标点差异等。

最佳实践： 在ETL清洗阶段，对供应商名称执行统一标准化规则：全角转半角、去除首尾空格与标点、统一括号格式、建立简称-全称对照字典。标准化后的名称字段应作为匹配主键之一。

纳税人识别号（税号）是供应商身份的核心标识，但错误率往往居高不下。税号错误会导致发票校验失败、税务申报异常、付款延迟。

注意： 税号清洗必须谨慎，不可直接覆盖原始数据。建议在ETL中创建"清洗后税号"字段，保留原始税号用于审计追溯。对于校验失败的记录，应标记为"待人工确认"并进入异常处理流程。

供应商地址信息用于区域分析、物流调度和合规审查，但地址数据往往缺乏统一标准，格式混乱程度在所有字段中最为严重。

  ETL策略： 建议采用"地址分词+层级映射+编码匹配"三步法。先利用分词工具将地址拆解为省、市、区、街道、门牌等层级，再对照国家标准行政区划代码进行映射，最后将标准化后的地址存入维度表。对于无法自动解析的地址，标记为"地址待清洗"并输出到异常表。

供应商联系人信息（姓名、电话、邮箱）缺失或无效，直接影响采购协同效率。常见问题包括：

除上述五大类外，供应商数据中还经常出现以下问题：

数据质量基线建议： 在启动供应商整合ETL之前，建议对源系统数据进行一次全面的数据质量审计，统计每个字段的完整率、准确率、一致率，并设定最低质量阈值（如：名称完整率≥95%，税号准确率≥90%）。低于阈值的源系统应优先进行数据治理。

不同脏数据场景对采购支出数据仓库的影响程度不同，以下矩阵帮助ETL团队确定清洗优先级：

脏数据场景	影响支出聚合	影响供应商评估	影响合规审计	清洗优先级
重复记录	高	高	中	P0（最高）
命名不一致	高	高	低	P0
税号错误	中	低	高	P0
地址格式混乱	低	中	中	P1
联系人缺失	低	中	低	P2
其他异常	视具体而定	视具体而定	视具体而定	P1-P2