3. 工业数据工程基础
数字产品护照（DPP）要求产品从原材料、生产、流通、使用到回收的全生命周期数据可追溯、可验证、可共享。支撑这一目标的底层能力，正是工业数据工程。它不是单一工具或平台，而是一套围绕“数据如何被采集、加工、存储、使用和治理”的工程方法体系。理解数据工程的概念、生命周期、管道、治理与质量，是构建 DPP 数据底座的前提。
一、数据工程的核心概念
数据工程（Data Engineering）关注的是数据的“流动与可用性”：把分散在设备、系统、文档和供应链中的原始数据，转化为稳定、可信、可复用的数据资产。它与数据分析、数据科学的区别在于，数据工程更偏底层建设，强调采集、清洗、建模、调度、存储和服务化。
在工业场景中，数据工程面对的对象具有鲜明特征：
- 多源异构：PLC、SCADA、MES、ERP、QMS、IoT 网关、供应商系统、纸质记录并存。
- 时序性强：设备参数、工艺曲线、能耗数据按时间高频产生。
- 强关联：批次、工单、物料、设备、人员、产品序列号之间需要建立血缘关系。
- 合规约束：碳足迹、材料成分、回收比例等数据必须可审计、可追溯。
因此，工业数据工程的目标可以概括为：让正确的数据，在正确的时间，以正确的质量，到达正确的系统或角色。
二、数据生命周期：从产生到退役
数据生命周期描述数据从“产生”到“销毁”的全过程。对 DPP 而言，生命周期管理决定了护照数据能否长期可信。典型阶段包括：
- 采集：从传感器、PLC、MES、ERP、供应商接口获取原始数据。
- 传输：通过 OPC UA、MQTT、Kafka、API 等通道将数据送入平台。
- 存储：按结构化、半结构化、时序、文档等类型分层存储。
- 处理：清洗、去重、标准化、单位换算、主数据匹配、关联建模。
- 使用：支撑 DPP 生成、碳核算、质量追溯、供应链协同和监管报送。
- 归档与销毁：按法规和合同要求保留或安全删除。
三、数据管道：让数据自动流动
数据管道（Data Pipeline）是数据从源到目标的一系列自动化处理步骤。工业数据管道通常分为批处理管道和流式管道：批处理适合日结、月结、报表和碳盘查；流式管道适合设备监控、异常报警和实时追溯。
一个典型的 DPP 数据管道可以抽象为：
数据源 → 采集层 → 消息队列 → 清洗/标准化 → 主数据匹配 → 数据仓库/数据湖 → DPP 服务 API → 监管/客户/内部系统
管道设计的关键点包括：
- 幂等性：重复执行不会产生重复数据，保证批次数据可重跑。
- 可观测性：监控延迟、吞吐、失败率、数据量波动。
- 血缘追踪：记录每个 DPP 字段来自哪个设备、工单或供应商批次。
- 失败恢复：支持断点续传、重试、死信队列和人工干预。
四、数据治理与数据质量
数据治理是“定规则、定责任、定流程”的管理体系，数据质量是治理效果的直接体现。没有治理，管道越复杂，数据越不可信；没有质量度量，治理就缺乏抓手。
| 治理维度 | 核心问题 | DPP 场景示例 |
|---|---|---|
| 元数据管理 | 数据是什么、在哪里、谁负责 | 材料成分字段的定义、来源系统、责任人 |
| 主数据管理 | 同一对象是否有统一标识 | 物料编码、工厂代码、产品序列号统一 |
| 数据标准 | 格式、单位、编码是否一致 | 碳足迹单位统一为 kgCO₂e，日期统一 ISO 8601 |
| 数据安全 | 谁可以访问、共享和导出 | 供应商敏感工艺参数分级授权 |
| 数据质量 | 数据是否准确、完整、及时、一致 | 批次缺失、单位错误、时间戳异常 |
数据质量通常从六个维度衡量：完整性、准确性、一致性、及时性、唯一性和有效性。在 DPP 项目中，最常见的质量问题是“批次断链”和“单位不统一”，它们会直接导致护照无法通过审核。
五、案例：一条电池护照数据链
以动力电池护照为例，数据工程需要打通：正极材料供应商的批次数据、电芯生产线的工艺参数、模组装配的序列号、整车厂的装车记录，以及回收企业的拆解数据。管道将上述数据统一到电池序列号主键下，经过清洗和标准化后，生成包含材料成分、碳足迹、健康状态和回收比例的护照数据包。治理规则确保每个字段有来源、有责任人、有质量阈值；质量监控则在数据异常时触发告警，避免“带病”数据进入护照。
六、常见误区与复盘
- 误区一：先建平台，后定标准。结果数据接入了，但字段含义不一致，无法形成可用资产。
- 误区二：把数据质量当成一次性清洗。质量是持续运营，需要规则、监控和责任人。
- 误区三：只关注技术管道，忽略组织治理。没有数据 owner，问题数据无人闭环。
- 误区四：忽视血缘追踪。DPP 审核时无法回答“这个数字从哪里来”。
综上，工业数据工程为 DPP 提供了从数据源到护照服务的完整能力链。数据生命周期定义了管理边界，数据管道实现了自动化流动，数据治理和质量则决定了数据能否被信任。三者协同，才能让数字产品护照真正成为可审计、可交换、可复用的工业数据资产。