1. 课程导论

1.1 供应商数据整合的业务背景

在大型制造与零售企业中，采购支出数据通常分散在多个异构系统中：ERP（如 SAP、Oracle EBS）、SRM 平台、电子招投标系统、财务应付模块以及线下 Excel 台账。这些系统对同一供应商的编码规则、名称写法、税号格式、法人信息往往不一致，导致数据仓库在构建采购支出分析主题时面临严重的“供应商碎片化”问题。

典型的供应商数据孤岛场景如下表所示：

这种碎片化直接导致采购支出分析出现严重偏差：同一家供应商的采购额被分散到多个虚拟实体，无法准确计算供应商集中度、品类支出占比和价格波动趋势。

1.2 数据归并面临的核心挑战

供应商数据归并不是简单的“名称匹配”，而是一系列复杂的数据治理与 ETL 工程问题。根据多个大型数据仓库项目的实践经验，主要挑战集中在以下五个方面：

1. 编码体系冲突：不同系统使用自增序列、语义编码或 UUID，缺乏全局统一的供应商主键。
2. 名称变体与别名：同一供应商存在全称、简称、历史名称、集团子公司名称等多种写法，如“IBM”、“IBM 中国”、“国际商业机器公司”。
3. 税号/信用代码缺失或错误：部分系统未强制校验统一社会信用代码，导致空值、错位或校验位错误。
4. 层级关系复杂：供应商存在集团-分公司-工厂的多级法人结构，采购支出需要按不同层级汇总。
5. 增量变更同步：供应商信息会随时间变更（名称变更、合并、注销），ETL 需要处理缓慢变化维度（SCD Type 2）。

1.3 数据归并的核心价值

供应商整合数据归并方案为采购支出数据仓库带来的价值可以归纳为四个维度：

1.4 供应商数据归并的整体架构

下图展示了供应商数据归并在采购支出数据仓库中的核心位置与处理流程：

1.5 课程目标与学习路径

本课程旨在帮助数据仓库与 ETL 工程师系统掌握供应商整合数据归并方案的设计与落地方法。完成本课程后，学员将具备以下能力：

• 设计能力：能够设计支持多源异构供应商数据的归并模型，包括匹配规则引擎、冲突消解策略和黄金记录存储结构。
• ETL 实现能力：能够使用 SQL、Python 或 ETL 工具（如 Informatica、DataStage、Kettle）实现供应商归并的增量与全量处理流程。
• 质量保障能力：能够建立供应商数据质量监控体系，包括匹配率、误匹配率、覆盖率等核心指标。
• 架构优化能力：能够针对大规模供应商数据（百万级）进行归并性能优化，包括索引策略、并行处理和缓存机制。

课程按照“理论 → 设计 → 实现 → 优化”的递进路径组织，共分为 30 个章节：