3. 数据收集与准备

Should-Cost 模型的精度高度依赖输入数据的质量。本章系统梳理三类核心数据的获取渠道、关键字段与清洗规则，确保后续成本拆解与智能寻源报价优化建立在可靠的数据基础之上。

3.1 三类数据源全景

数据准备阶段需要同时处理内部历史数据、供应商报价数据和行业基准数据。三类数据在获取方式、更新频率和用途上存在显著差异，具体对比如下：

3.2 内部历史数据获取与清洗

内部历史数据是 Should-Cost 模型最直接的成本参考源。获取时需从 ERP 和 SRM 系统中导出至少 24 个月的采购交易记录，覆盖同一物料在不同供应商、不同时间点的价格与交付表现。

3.2.1 关键字段提取清单

• 物料主数据： 物料编码、物料描述、计量单位、物料组、采购分类。
• 交易数据： 采购订单号、订单行项目、采购单价、订单数量、收货数量、发票价格。
• 供应商数据： 供应商编码、供应商名称、供应商所在地区、供应商等级。
• 时间数据： 订单创建日期、承诺交货日期、实际收货日期。
• 质量数据： 来料检验合格率、批次拒收次数、退货数量。

3.2.2 清洗规则

1. 去重： 按采购订单号+行项目号去重，保留最新版本。
2. 异常值处理： 对单价字段使用 IQR（四分位距）方法，剔除超出 Q1-1.5IQR 或 Q3+1.5IQR 的记录。
3. 缺失值填充： 质检合格率缺失时，使用该供应商近 6 个月平均合格率填充；交货周期缺失时，使用物料组平均交货周期填充。
4. 单位统一： 将所有价格统一为“元/基本单位”，所有数量统一为基本计量单位。
5. 时间对齐： 将订单日期、交货日期统一为 YYYY-MM-DD 格式，并计算实际交货周期（天）。

3.3 供应商报价数据获取与清洗

供应商报价数据通常以非结构化形式（PDF 报价单、邮件正文、Excel 附件）进入采购流程。获取后需要快速结构化并清洗，才能与 Should-Cost 模型进行逐项对比。

3.3.1 获取方式

• 结构化接口： 通过供应商门户 API 或 EDI 直接获取 JSON/XML 格式报价。
• 半结构化解析： 使用 OCR+规则引擎从 PDF 报价单中提取物料号、单价、MOQ、运费等字段。
• 人工录入： 对于邮件报价，设计标准化模板由采购员手动录入系统。

3.3.2 清洗重点

3.4 行业基准数据获取与清洗

行业基准数据用于校准 Should-Cost 模型中的外部参数，如原材料价格、行业平均加工费率、地区人工成本指数等。获取渠道包括：

• 大宗商品交易所： LME（伦敦金属交易所）、SHFE（上海期货交易所）的实时与历史价格。
• 第三方数据平台： IHS Markit、S&P Global、Mining.com 等发布的行业成本报告。
• 行业协会： 中国物流与采购联合会、中国机械工业联合会等发布的行业景气指数与成本调研数据。
• 政府统计机构： 国家统计局发布的 PPI（工业生产者出厂价格指数）、制造业 PMI 分项数据。

3.4.1 清洗规则

1. 时间对齐： 将不同来源的月度、季度数据统一插值为月度频率，确保与内部数据时间窗口一致。
2. 单位转换： 将国际数据（如美元/吨）按汇率和单位换算系数转换为人民币/千克。
3. 异常值处理： 对原材料价格指数使用移动平均法平滑短期剧烈波动，避免模型过度响应市场噪音。
4. 区域映射： 将行业基准数据按地区（华东、华南、华北等）进行拆分，匹配供应商所在区域的实际成本水平。

3.5 数据清洗流程总览

以下 SVG 图展示了从三类数据源到清洗后标准数据集的完整流程，包含关键清洗节点与输出产物：

3.6 数据质量评估与持续监控

数据清洗完成后，需要建立数据质量评估指标，确保进入 Should-Cost 模型的数据持续可靠。建议每月执行一次数据质量审计，重点关注以下维度：