4. 历史数据源类型与接入方式
历史数据迁移项目失败,往往不是败在目标端Teamcenter的建模上,而是败在对源端“家底”认识不清。旧PDM、ERP、文件系统、数据库这四类源,在数据组织方式、访问协议、可追溯性上差异极大,接入方式选错,后续清洗和映射会成倍返工。本节先建立源类型与接入方式的对应关系,再给出可落地的技术选型判断。
四类源的本质差异
旧PDM是结构化程度最高的源。它通常自带对象模型:零部件、图纸、BOM、版本、生命周期状态、签审记录,且对象之间已有主外键关系。接入时优先走其API或数据库只读视图,能直接拿到“对象+关系+版本”三件套。风险在于旧PDM的元模型与Teamcenter的Item/ItemRevision/BOMView语义并不一一对应,例如旧系统的“版本”可能同时承担了修订版和版次两种含义。
ERP的核心是物料主数据、BOM、工艺路线和变更单。它的强项是编码规则和业务属性(物料类型、采购类型、工厂视图),弱项是图文档和三维模型——ERP里通常只有物料号,没有几何数据。接入ERP应以增量接口或中间表为主,重点抽取物料主数据与BOM结构,用于与PDM侧数据做编码对齐。
文件系统是最“脏”的源。共享盘、归档目录里堆着图纸、PDF、Office文档、压缩包,文件名可能包含编码、版本、图号,也可能完全无规律。接入文件系统不是简单拷贝,而是要做“文件—元数据—对象”的关联重建:通过文件名解析、目录结构推断、文件头校验,把散落文件挂到正确的对象上。
数据库源包括旧系统直接暴露的库表、历史归档库、以及业务系统导出的中间库。它的优势是数据量大、可批量、可SQL加工;劣势是缺少业务语义,表名和字段名往往是缩写,需要结合数据字典和业务人员访谈还原含义。
接入方式的技术选型判断
选型不是“哪个先进用哪个”,而是看源系统的可访问性、数据量和语义完整度。以下判断可直接用于项目启动阶段的源系统评估。
| 源类型 | 首选接入方式 | 关键输入 | 典型输出 | 主要风险 |
|---|---|---|---|---|
| 旧PDM | API或只读数据库视图 | 对象ID、版本号、关系表 | 对象+关系+版本快照 | 元模型语义不对齐 |
| ERP | 增量接口或中间表 | 物料号、工厂、BOM行 | 物料主数据+BOM结构 | 编码规则与PDM不一致 |
| 文件系统 | 扫描+文件名解析+哈希 | 目录树、文件名、文件头 | 文件清单+对象关联 | 命名混乱、重复文件 |
| 数据库 | SQL批量抽取+分页 | 表结构、数据字典 | 结构化记录集 | 字段语义缺失 |
文件系统接入的实际处理过程
文件系统接入最容易被低估。假设某企业共享盘中有约12万个图纸文件,目录结构为“项目号/专业/图纸类型/文件名”,文件名格式为“图号_版本_名称.dwg”。接入过程分四步:
- 扫描与清单化:遍历目录,记录文件路径、大小、修改时间、扩展名,生成文件清单表。对每个文件计算SHA-256哈希,用于后续去重。
- 文件名解析:用正则表达式提取图号、版本、名称。例如
^([A-Z0-9\-]+)_(V\d+)_(.+)\.(dwg|pdf)$,解析失败的文件进入异常清单,由业务人员人工确认。 - 文件头校验:读取文件前若干字节判断真实类型,防止扩展名与实际格式不符。例如DWG文件头为“AC10”,PDF为“%PDF”。
- 对象关联:用解析出的图号与PDM/ERP侧物料号做匹配,建立“文件—对象”关联表。匹配不上的文件标记为“孤立文件”,不直接丢弃,保留在暂存区供后续处理。
数据库源的语义还原
数据库源最大的障碍是字段名不可读。例如旧系统表 T_MAT 中有字段 MAT_NO、MAT_TYP、STD_FLG,仅看字段名无法确定 STD_FLG 是“标准件标志”还是“状态标志”。实际做法是:先导出数据字典和样本数据,再结合业务访谈建立字段语义映射表。例如:
源表: T_MAT
字段 样本值 推断语义
MAT_NO A-1023 物料编码
MAT_TYP 01/02/03 物料类型(01=自制件,02=标准件,03=外购件)
STD_FLG Y/N 是否标准件
REV A/B/C 版本号
EFF_DT 2019-06-01 生效日期
语义还原后,才能把源字段映射到Teamcenter的属性上。对于无法确认的字段,不要猜测,应列入待确认清单,由业务人员签字确认后再进入映射。
多源接入的统一暂存策略
四类源接入后,不建议直接写入Teamcenter,而应先落入统一的迁移暂存区。暂存区至少包含:原始快照表(保留源数据原貌)、编码对齐表(记录源编码与目标编码的对应关系)、文件清单表、异常记录表、校验日志表。这样做的价值在于:迁移过程可回放、可审计、可断点续传;当映射规则调整时,只需重跑暂存区到目标端的转换,而不必重新访问源系统。
技术选型的最终判断标准只有一条:接入方式能否稳定、可重复地拿到“对象+关系+文件+属性”四类数据,并且能说清每条数据的来源和转换过程。能做到这一点,后续的映射、清洗和加载才有可靠基础。