4. 数据采集层优化：批量采集接口设计、增量同步策略、数据去重与清洗规则

数据采集层是价格偏差预防体系的第一个性能瓶颈点。供应商交付批次追溯涉及多源异构数据（ERP 采购订单、WMS 入库单、供应商发货通知、合同价格表），若采用逐条同步方式，单日百万级记录将导致接口响应超时、数据库连接池耗尽。本章聚焦采集层的三项核心优化：批量采集接口设计、增量同步策略、数据去重与清洗规则，确保数据在进入追溯链路前已具备高吞吐、低延迟、无脏数据的基础。

4.1 批量采集接口设计

传统逐条采集（单次 1 条记录）在追溯场景下不可接受。批量接口通过合并请求、减少网络往返次数、利用数据库批量插入能力，将吞吐量提升 10～50 倍。设计要点如下：

4.2 增量同步策略

全量同步在数据量超过百万级后不可持续。增量同步只采集自上次同步后发生变化的数据，大幅降低传输量和处理时间。追溯场景下推荐三种增量策略：

• 时间戳增量（推荐）：基于记录中的 update_time 或 modified_date 字段，同步上次成功时间戳之后的数据。实现简单，但需确保源系统时间戳准确且不可回退。
• 水位线增量：使用自增 ID 或序列号作为水位标记，每次同步记录最大 ID，下次从该 ID+1 开始。适用于只追加不更新的数据（如日志型入库记录）。
• 变更数据捕获（CDC）：通过解析数据库 binlog 或 WAL 日志，实时捕获插入、更新、删除操作。延迟最低（秒级），但架构复杂度高，适合对实时性要求极高的价格偏差预警场景。

4.3 数据去重与清洗规则

供应商交付批次追溯中，重复数据和脏数据会直接导致价格偏差计算错误。去重与清洗必须在采集层完成，避免脏数据进入后续的关联分析环节。

4.3.1 去重规则

基于业务主键或联合唯一键进行去重。追溯场景的典型去重键：

• 采购订单号 + 行项目号 + 供应商批次号：唯一确定一个交付批次的价格记录。
• 入库单号 + 物料编码：防止同一批次重复入库。
• 合同编号 + 版本号：确保价格基准的唯一性。

去重策略分为 “先查后插” 和 “插入忽略” 两种：

4.3.2 清洗规则

清洗规则针对价格偏差追溯中的常见数据质量问题：

1. 空值处理：价格字段为空时，默认使用合同基准价或上次交付价填充；若均不可得，标记为“待人工确认”。
2. 格式标准化：货币单位统一为“元”（保留两位小数），日期格式统一为 YYYY-MM-DD HH:mm:ss，供应商编码统一为大写。
3. 异常值过滤：单价 ≤0 或超过合同价 10 倍的数据，直接标记为异常并写入隔离表，不参与追溯计算。
4. 关联校验：采购订单号必须在 ERP 订单主表中存在，否则视为“孤儿数据”并记录告警。

4.4 采集层性能指标参考

优化后的数据采集层应达到以下基准指标（基于 10 万条供应商交付批次数据压测）：