4. 历史数据源类型与接入方式

历史数据迁移项目失败,往往不是败在目标端Teamcenter的建模上,而是败在对源端“家底”认识不清。旧PDM、ERP、文件系统、数据库这四类源,在数据组织方式、访问协议、可追溯性上差异极大,接入方式选错,后续清洗和映射会成倍返工。本节先建立源类型与接入方式的对应关系,再给出可落地的技术选型判断。

四类源的本质差异

旧PDM是结构化程度最高的源。它通常自带对象模型:零部件、图纸、BOM、版本、生命周期状态、签审记录,且对象之间已有主外键关系。接入时优先走其API或数据库只读视图,能直接拿到“对象+关系+版本”三件套。风险在于旧PDM的元模型与Teamcenter的Item/ItemRevision/BOMView语义并不一一对应,例如旧系统的“版本”可能同时承担了修订版和版次两种含义。

ERP的核心是物料主数据、BOM、工艺路线和变更单。它的强项是编码规则和业务属性(物料类型、采购类型、工厂视图),弱项是图文档和三维模型——ERP里通常只有物料号,没有几何数据。接入ERP应以增量接口或中间表为主,重点抽取物料主数据与BOM结构,用于与PDM侧数据做编码对齐。

文件系统是最“脏”的源。共享盘、归档目录里堆着图纸、PDF、Office文档、压缩包,文件名可能包含编码、版本、图号,也可能完全无规律。接入文件系统不是简单拷贝,而是要做“文件—元数据—对象”的关联重建:通过文件名解析、目录结构推断、文件头校验,把散落文件挂到正确的对象上。

数据库源包括旧系统直接暴露的库表、历史归档库、以及业务系统导出的中间库。它的优势是数据量大、可批量、可SQL加工;劣势是缺少业务语义,表名和字段名往往是缩写,需要结合数据字典和业务人员访谈还原含义。

异构数据源接入方式与技术选型 旧PDM 对象模型完整 版本/关系/状态齐全 ERP 物料/BOM/变更单 无图文档几何 文件系统 图纸/PDF/Office 命名不规范 数据库 归档库/中间库 字段缩写多 API / 只读视图 按对象+关系抽取 保留版本链与签审 增量接口 / 中间表 按物料号对齐 抽取主数据+BOM 文件扫描+解析 文件名/目录推断 文件头校验+哈希 SQL批量抽取 数据字典还原语义 分页+断点续传 迁移暂存区 原始快照 编码对齐表 文件清单 异常记录 校验日志 Teamcenter 目标端 选型原则:结构化源走接口/视图,半结构化源走解析+对齐,非结构化源走扫描+哈希校验;所有源统一落入暂存区后再做映射

接入方式的技术选型判断

选型不是“哪个先进用哪个”,而是看源系统的可访问性、数据量和语义完整度。以下判断可直接用于项目启动阶段的源系统评估。

源类型 首选接入方式 关键输入 典型输出 主要风险
旧PDM API或只读数据库视图 对象ID、版本号、关系表 对象+关系+版本快照 元模型语义不对齐
ERP 增量接口或中间表 物料号、工厂、BOM行 物料主数据+BOM结构 编码规则与PDM不一致
文件系统 扫描+文件名解析+哈希 目录树、文件名、文件头 文件清单+对象关联 命名混乱、重复文件
数据库 SQL批量抽取+分页 表结构、数据字典 结构化记录集 字段语义缺失

文件系统接入的实际处理过程

文件系统接入最容易被低估。假设某企业共享盘中有约12万个图纸文件,目录结构为“项目号/专业/图纸类型/文件名”,文件名格式为“图号_版本_名称.dwg”。接入过程分四步:

  1. 扫描与清单化:遍历目录,记录文件路径、大小、修改时间、扩展名,生成文件清单表。对每个文件计算SHA-256哈希,用于后续去重。
  2. 文件名解析:用正则表达式提取图号、版本、名称。例如 ^([A-Z0-9\-]+)_(V\d+)_(.+)\.(dwg|pdf)$,解析失败的文件进入异常清单,由业务人员人工确认。
  3. 文件头校验:读取文件前若干字节判断真实类型,防止扩展名与实际格式不符。例如DWG文件头为“AC10”,PDF为“%PDF”。
  4. 对象关联:用解析出的图号与PDM/ERP侧物料号做匹配,建立“文件—对象”关联表。匹配不上的文件标记为“孤立文件”,不直接丢弃,保留在暂存区供后续处理。
文件系统接入的核心产出不是文件本身,而是“文件清单+解析结果+哈希+关联状态”四张表。这四张表决定了后续能否把文件正确挂到Teamcenter对象上。

数据库源的语义还原

数据库源最大的障碍是字段名不可读。例如旧系统表 T_MAT 中有字段 MAT_NO、MAT_TYP、STD_FLG,仅看字段名无法确定 STD_FLG 是“标准件标志”还是“状态标志”。实际做法是:先导出数据字典和样本数据,再结合业务访谈建立字段语义映射表。例如:

源表: T_MAT
字段          样本值        推断语义
MAT_NO        A-1023        物料编码
MAT_TYP       01/02/03      物料类型(01=自制件,02=标准件,03=外购件)
STD_FLG       Y/N           是否标准件
REV            A/B/C         版本号
EFF_DT        2019-06-01    生效日期

语义还原后,才能把源字段映射到Teamcenter的属性上。对于无法确认的字段,不要猜测,应列入待确认清单,由业务人员签字确认后再进入映射。

多源接入的统一暂存策略

四类源接入后,不建议直接写入Teamcenter,而应先落入统一的迁移暂存区。暂存区至少包含:原始快照表(保留源数据原貌)、编码对齐表(记录源编码与目标编码的对应关系)、文件清单表、异常记录表、校验日志表。这样做的价值在于:迁移过程可回放、可审计、可断点续传;当映射规则调整时,只需重跑暂存区到目标端的转换,而不必重新访问源系统。

接入阶段不要做“顺手清洗”。例如在抽取ERP数据时直接修改物料描述格式,会导致源数据与暂存区不一致,后续无法追溯差异来源。清洗应放在暂存区之后的映射转换阶段,并保留清洗前后的对照记录。

技术选型的最终判断标准只有一条:接入方式能否稳定、可重复地拿到“对象+关系+文件+属性”四类数据,并且能说清每条数据的来源和转换过程。能做到这一点,后续的映射、清洗和加载才有可靠基础。