4. 品类数据清洗概述：数据质量问题的来源
品类数据清洗是采购数据治理的基石。在实战中，我们面对的采购数据往往来自多个异构系统（ERP、SRM、OA、手工台账），数据质量问题集中表现为重复、缺失和错误归类三大类。本节将系统梳理这些问题的典型来源与识别方法。
4.1 数据质量问题的三大来源
| 问题类型 | 典型表现 | 主要成因 | 影响范围 |
|---|---|---|---|
| 重复 | 同一物料/品类存在多条编码或名称记录 | 多系统数据合并、手工录入无校验、历史数据迁移未去重 | 品类统计失真、采购金额重复计算、供应商管理混乱 |
| 缺失 | 品类编码、名称、层级、属性字段为空 | 必填字段未约束、系统间映射丢失、录入人员跳过关键字段 | 无法完成品类归集、节约计算断链、越权采购无法定位 |
| 错误归类 | 物料被分配到错误的品类节点或层级 | 分类标准不统一、人工判断偏差、系统自动映射规则错误 | 品类分析结论错误、采购策略失效、节约跟踪基准偏移 |
实战经验：在跨系统数据合并场景中，重复与错误归类往往同时出现。例如，同一颗螺丝在ERP中归入“紧固件”，在SRM中归入“五金件”，在手工台账中归入“标准件”。清洗时必须建立统一的品类映射字典。
4.2 重复数据的识别与分类
重复数据是品类清洗中最常见的问题，通常分为以下三类：
- 完全重复：所有关键字段（编码、名称、规格、单位）完全一致，通常由系统间数据同步异常或重复导入导致。
- 近似重复：关键字段存在细微差异，如“不锈钢螺栓 M8×20”与“不锈钢螺栓 M8*20”、“不锈钢螺栓 M8x20”，因分隔符、大小写、全半角不同造成。
- 语义重复：名称不同但指向同一物料，如“A4纸”与“复印纸”、“打印纸”，需要结合规格和用途判断。
清洗建议：优先使用物料编码去重（精确匹配），再通过名称相似度算法（如编辑距离、Jaccard系数）辅助识别近似重复，最后人工复核语义重复。
4.3 缺失数据的典型场景
缺失数据在采购数据中普遍存在，以下为高频缺失字段及其影响：
| 缺失字段 | 缺失比例（常见范围） | 对品类清洗的影响 | 补救策略 |
|---|---|---|---|
| 品类编码 | 5% - 20% | 无法建立品类树，无法进行品类聚合分析 | 根据物料名称和规格自动匹配品类编码 |
| 品类名称 | 3% - 15% | 无法识别物料归属，节约跟踪失去分类维度 | 从物料描述中提取关键词补全 |
| 计量单位 | 8% - 25% | 数量与金额无法对应，单价计算错误 | 参考历史采购记录或同类物料单位 |
| 供应商编码 | 2% - 10% | 越权采购排查无法关联供应商维度 | 通过采购订单号反向关联供应商主数据 |
4.4 错误归类的典型模式
错误归类是数据质量中最隐蔽的问题，常见模式包括：
- 层级错位：将三级品类物料直接归入一级品类（如将“碳钢法兰”归入“管件”而非“法兰及管件”）。
- 跨类混入：将A类物料错误归入B类（如将“液压油”归入“润滑油”而非“液压传动介质”）。
- 标准冲突：不同系统使用不同分类标准（如UNSPSC、国标、企业自定义标准混用），导致同一物料在不同系统中归属不同。
- 人工误判：采购人员或录入人员对物料属性理解偏差，将新物料归入经验中的近似品类。
注意：错误归类会直接导致节约跟踪的基准偏移。例如，某物料实际属于“包装材料”却被归入“办公用品”，则包装材料的节约目标会被低估，而办公用品的节约目标会被高估，最终导致采购策略失效。
4.5 数据质量问题来源全景图
以下SVG图展示了数据质量问题从产生到影响的完整链路：
4.6 数据质量问题的连锁效应
数据质量问题并非孤立存在，它们会沿着采购数据链路产生连锁效应：
- 源头污染：多系统数据合并时，重复、缺失、错误归类同时涌入清洗管道。
- 清洗放大：若清洗规则不完善，错误归类可能被保留甚至强化，缺失数据可能被错误填充。
- 分析失真：基于污染数据的品类分析、节约计算、越权排查结果不可信。
- 决策误导：管理层基于失真报告制定采购策略，导致资源错配和成本失控。
核心原则：品类数据清洗必须从源头治理，建立“预防为主、清洗为辅”的数据质量管控体系。在清洗前，务必对数据质量问题进行系统性诊断，明确重复、缺失、错误归类的分布和严重程度，再制定针对性的清洗方案。