2. 数据源识别：常见历史报价数据来源及其格式特征
在采购管理平台进行报价比较之前，首要任务是识别并理解历史报价数据的来源。不同来源的数据在格式、完整性和结构化程度上存在显著差异，直接影响后续导入与校验策略的制定。本节将系统梳理企业中最常见的四种历史报价数据来源，并分析其格式特征与适用场景。
2.1 数据来源概览与对比
根据企业信息化成熟度的不同，历史报价数据通常分散在以下四类载体中。下表从数据规范性、可解析性、人工干预度三个维度进行横向对比：
| 数据来源 | 典型载体 | 结构化程度 | 字段完整性 | 人工干预风险 | 常见行业 |
|---|---|---|---|---|---|
| ERP 系统 | SAP、Oracle、用友、金蝶 | 高（严格表结构） | 高（必填字段约束） | 低（系统级控制） | 制造、零售、能源 |
| Excel 文件 | .xlsx / .xls | 中（依赖模板） | 中（易缺失/合并单元格） | 高（手动录入错误） | 全行业通用 |
| CSV 文件 | .csv（逗号/分号分隔） | 中（纯文本表格） | 低（无格式约束） | 中（编码/分隔符问题） | 电商、物流、IT |
| 邮件附件 | PDF / 图片 / 压缩包 | 低（非结构化） | 低（需人工提取） | 极高（截图/扫描件） | 贸易、服务、中小型企业 |
实践提示： 在项目启动阶段，建议优先盘点 ERP 系统可导出的报价数据范围。ERP 数据通常质量最高，应作为历史数据导入的“基准源”；Excel 和 CSV 作为补充源；邮件附件应尽量推动业务部门提前转换为结构化格式。
2.2 各来源格式特征详解
2.2.1 ERP 系统导出数据
ERP 系统是历史报价数据的“黄金来源”。其数据通常通过标准报表或 API 接口导出，具有以下特征：
- 字段命名规范： 如
PO_NUMBER、VENDOR_CODE、QUOTATION_DATE、UNIT_PRICE，字段名与系统内定义一致。 - 数据完整性高： 必填字段（如物料号、供应商编码、价格）极少出现空值。
- 时间戳精确： 报价有效期、创建日期、修改日期均有精确记录。
- 导出格式： 通常支持 CSV、Excel 或固定宽度文本，部分系统支持 XML/JSON。
2.2.2 Excel 文件
Excel 是业务部门最常用的报价记录工具，但格式灵活度大，需重点关注以下“陷阱”：
- 合并单元格： 表头或数据区域存在合并单元格，导致解析时行列错位。
- 隐藏行/列： 部分历史数据被隐藏，导入时可能遗漏。
- 自定义格式： 日期显示为“2024-01-15”但实际存储为文本字符串；价格列包含货币符号或千分位逗号。
- 多 Sheet 分散： 不同供应商或不同年份的报价分散在多个工作表内。
2.2.3 CSV 文件
CSV 文件因其轻量和通用性被广泛使用，但格式歧义是主要挑战：
- 分隔符不统一： 常见逗号
,、分号;、制表符\t，需自动检测或手动指定。 - 文本限定符： 字段内包含分隔符时，需使用双引号
"包裹，但部分导出文件未正确转义。 - 编码问题： 中文环境下常见 GBK/UTF-8 混用，导致乱码。
- 缺少元数据： 无列类型定义，所有字段均视为字符串。
2.2.4 邮件附件
邮件附件是最难自动化的数据来源，通常包含以下非结构化格式：
- PDF 报价单： 扫描件或生成式 PDF，需 OCR 或 PDF 解析引擎提取表格。
- 图片/截图： 完全非结构化，需人工录入或借助 AI 视觉识别。
- 压缩包： 内含多个 Excel/CSV 文件，需先解压再按规则归类。
数据治理警示： 邮件附件来源的数据质量波动极大。在导入流程中，应将其标记为“低可信度”数据源，并强制要求业务部门在导入前完成人工复核与签字确认，避免因 OCR 识别错误导致报价比较失真。
2.3 数据源识别流程（SVG 图）
下图展示了从原始数据到可导入数据的识别与分类决策流程，帮助实施团队快速定位数据来源类型并选择对应的解析策略：
2.4 数据源格式特征速查表
在实际导入过程中，以下格式特征可作为自动识别数据源类型的判断依据：
| 特征标识 | ERP 导出 | Excel | CSV | 邮件附件 |
|---|---|---|---|---|
| 文件扩展名 | .xlsx / .csv / .txt | .xlsx / .xls | .csv | .pdf / .png / .zip |
| 首行是否为表头 | 是（系统固定） | 通常为是 | 通常为是 | 不确定 |
| 字段名风格 | 大写+下划线 | 中文/英文混合 | 英文/拼音 | 无固定格式 |
| 日期格式 | YYYY-MM-DD | 多种自定义格式 | YYYY/MM/DD 或文本 | 图片/PDF 内嵌 |
| 货币符号 | 无（纯数字） | 常含 ¥ / $ 符号 | 通常无 | 视文档而定 |
| 空值处理 | NULL 或空字符串 | 空白单元格 | 连续分隔符 | 缺失字段 |
架构设计要点： 在采购管理平台的数据导入模块中，建议设计一个“数据源探测器”组件，该组件通过读取文件头、扩展名、前 20 行样本数据，自动匹配上述特征标识，从而选择对应的解析器。这可以大幅减少人工配置工作量，并提升导入流程的自动化程度。