3. 数据工程基础

多数据集联合训练与域适配工程的第一步，不是模型结构，而是数据工程。多源数据往往来自不同采集设备、不同业务系统、不同标注团队，甚至不同语言与不同采样频率。若缺少统一的数据工程规范，后续的域适配会变成“在噪声上做对齐”，模型性能难以稳定。本节围绕采集、清洗、对齐、标注、元数据与质量评估六个环节，建立可复用的数据工程基础。

一、核心原理：把“数据源差异”显式化

多源数据的本质问题是分布差异与表示差异。分布差异体现为场景、光照、人群、文本风格、传感器型号不同；表示差异体现为字段命名、单位、时间戳格式、编码方式、标签体系不同。数据工程的目标不是消除差异，而是把差异显式记录、可度量、可追溯，使后续域适配有据可依。

因此，数据工程应遵循三条原则：第一，原始数据不可变，所有清洗与转换以派生层形式存在；第二，每条样本可溯源，能回答“它来自哪个源、经过哪些处理、由谁标注”；第三，质量可量化，用指标而非感觉判断数据是否可用。

二、方法流程：采集 → 清洗 → 对齐 → 标注 → 元数据 → 质量评估

下面给出一个可落地的六阶段流程，每个阶段都有明确的输入、输出与检查点。

1. 多源采集：按源登记采集任务，记录源标识、采集时间、设备/接口、采样率、授权范围。采集层只做落地与校验，不做业务修改。
2. 清洗：处理缺失值、重复样本、异常值、格式错误、编码乱码、隐私字段。清洗规则应版本化，保留被过滤样本的索引。
3. 对齐：统一时间基准、坐标系、单位、字段命名、标签空间。跨模态数据需做时间戳对齐与空间对齐。
4. 标注规范：定义标签体系、标注粒度、边界规则、歧义处理、多人一致性要求。规范需配示例与反例。
5. 元数据管理：为数据集、样本、字段、标签、处理步骤建立元数据表，支持血缘查询与版本管理。
6. 质量评估：从完整性、一致性、准确性、时效性、分布覆盖、标注一致性六个维度打分，输出质量报告。

三、关键环节的实操要点

采集与清洗。采集层建议采用“原始层 + 派生层”的湖仓结构。原始层只追加不修改，派生层按清洗规则生成。清洗规则用配置表达，便于复现与审计：

clean_rules:
  - name: drop_duplicate
    key: [source_id, sample_hash]
  - name: fix_missing
    field: label
    action: drop_row
  - name: normalize_unit
    field: temperature
    from: F
    to: C
  - name: mask_pii
    fields: [phone, id_card]
    action: hash

对齐。跨模态对齐要区分“硬对齐”和“软对齐”。硬对齐要求时间戳、坐标系、单位完全一致；软对齐允许通过插值、重采样、映射表建立近似对应。对齐结果必须记录映射关系，否则后续无法解释域偏移来源。

标注规范。标注规范应包含标签定义、边界示例、歧义处理、多人标注与仲裁流程。建议先做小批量试标，计算标注一致性（如 Cohen's Kappa 或 IoU），达标后再全量铺开。

四、元数据管理与质量评估清单

元数据管理建议至少覆盖数据集级、样本级、字段级、处理级四层。质量评估则用可量化指标驱动门禁。下表给出一个可落地的检查清单。

五、案例与常见误区

案例：某联合训练项目融合三个来源的文本分类数据。源 A 标签为 5 类，源 B 为 8 类，源 C 为二分类。团队先建立统一标签空间映射表，将源 C 的二分类映射到统一空间的子集；再对源 B 的 8 类做合并与拆分校验；最后用 Kappa 评估标注一致性。对齐后，域适配模型的跨域 F1 提升了约 6 个百分点。关键动作不是模型调参，而是标签空间对齐与元数据血缘补齐。

常见误区：

• 只清洗不记录：过滤掉的样本没有索引，无法复盘数据偏差。
• 对齐只做格式转换：忽略单位、坐标系、时间基准，导致隐性错位。
• 标注规范过于抽象：缺少正反例，标注员各自理解，一致性差。
• 元数据后补：训练出问题才回头查来源，成本极高。
• 质量评估只看总量：忽略长尾与域覆盖，联合训练时弱势域被淹没。

综上，多源数据工程应把采集、清洗、对齐、标注、元数据与质量评估串成一条可审计的流水线。原始层只读、派生层可复现、元数据全程写入、质量门禁前置，才能为后续多数据集联合训练与域适配提供稳定、可信、可解释的数据基础。