4. 数据归并概念与原则
在采购支出数据仓库建设中，供应商数据归并是将来自多个异构源系统（如 ERP、SRM、财务系统）中描述同一供应商的记录，按照统一规则合并为一条权威、完整、一致的主数据记录的过程。这是实现“供应商 360 度视图”的前提，也是支出分析、风险管理和战略寻源的数据基础。
4.1 什么是供应商归并
供应商归并并非简单的去重，而是一种语义级的数据融合。它解决的核心问题是：
- 同一实体，多套编码：同一家供应商在 A 公司 ERP 中编码为 “V10086”，在 B 公司系统中编码为 “SUP-0086”。
- 同一编码，不同名称：系统内供应商编码 “V10086” 在采购订单中叫“华为技术有限公司”，在发票中叫“华为技术”。
- 层级归属不清：无法区分“华为技术有限公司”是集团级实体，还是某个地方工厂的独立法人。
关键定义： 供应商归并 = 识别（Matching）+ 合并（Merging）+ 治理（Stewardship）。识别是技术，合并是规则，治理是持续过程。
4.2 归并的粒度：企业级 vs 工厂级
归并粒度的选择直接决定了数据仓库的查询能力和分析视角。错误的粒度会导致支出数据被错误聚合或过度拆分。下表对比了两种核心粒度：
| 维度 | 企业级（集团级） | 工厂级（法人/地点级） |
|---|---|---|
| 归并对象 | 法律实体集团（如“华为投资控股有限公司”） | 具体运营工厂或法人实体（如“华为机器有限公司”） |
| 唯一标识 | 全球统一的企业 DUNS 号或集团 ID | 工厂代码 + 本地供应商编码 |
| 适用场景 | 集团战略寻源、全球支出分析、供应商集中度评估 | 本地采购执行、工厂级对账、到货与质检跟踪 |
| ETL 复杂度 | 高（需要跨系统、跨国家匹配） | 中（通常在同一 ERP 实例内完成） |
| 数据仓库模型 | 建立 dim_supplier_enterprise 维度表 |
建立 dim_supplier_plant 维度表，并通过外键关联企业级 |
最佳实践： 在采购支出数据仓库中，通常采用双粒度模型。保留工厂级粒度用于日常运营分析，同时通过企业级归并维度支持集团战略分析。两者通过“供应商层级映射表”关联。
4.3 归并的黄金法则
任何供应商归并方案都必须遵循以下三条黄金法则。违反其中任何一条，都可能导致数据质量灾难。
4.3.1 唯一性（Uniqueness）
在选定的归并粒度下，每个供应商实体在数据仓库中必须有且仅有一条权威记录。这是消除冗余和歧义的基础。
- 实现手段：建立基于业务规则的匹配算法（精确匹配 + 模糊匹配），并设置人工审核兜底。
- 常见陷阱：仅依赖名称精确匹配，导致“华为技术”与“华为技术有限公司”被识别为两个供应商。
4.3.2 完整性（Completeness）
归并后的供应商记录必须包含支持采购分析所需的核心属性，不能出现关键字段大面积缺失。
- 核心属性清单：供应商名称（中英文）、统一社会信用代码 / DUNS 号、所属集团、采购类别、付款条款、风险等级。
- ETL 策略：采用“源系统优先级”规则，从质量最高的系统（如财务主数据系统）填充关键字段。
4.3.3 时效性（Timeliness）
供应商信息（如名称变更、停用状态、风险评级）发生变化后，数据仓库必须在约定的服务等级协议（SLA）内完成同步更新。
- 更新机制：增量 CDC（变更数据捕获） + 定期全量对账。
- 历史追溯：使用缓慢变化维度（SCD Type 2）记录供应商属性的历史变更，支持“按当时状态”分析历史支出。
避坑指南： 不要为了追求唯一性而过度合并。如果两个工厂级供应商虽然属于同一集团，但采购合同、定价和交付条款完全独立，则应在工厂级保持分离，仅在企业级维度进行关联。
4.4 归并流程概览
一个标准的供应商归并 ETL 流程通常包含以下步骤，这些步骤将在后续章节中详细展开：
- 数据加载与标准化：从源系统抽取供应商数据，统一字段格式（如去除特殊字符、统一地址缩写）。
- 候选匹配：基于阻塞键（如国家+邮编首几位）生成候选对，减少全量笛卡尔积。
- 相似度计算：使用编辑距离、Jaro-Winkler 等算法计算名称、地址的相似度。
- 决策与合并：根据阈值和业务规则，自动判定匹配/不匹配/疑似，并执行合并或挂起。
- 生成黄金记录：将合并后的最佳属性写入
dim_supplier维度表。
核心产出物： 供应商归并映射表（Mapping Table），记录源系统编码与目标黄金 ID 的对应关系，这是 ETL 血缘追溯和问题排查的关键。