3. 模型训练数据链路

在模型训练数据血缘与样本审计的实践中，理解数据链路是建立可追溯体系的前提。所谓数据链路，是指一条原始数据从被采集到最终进入训练集所经历的全部加工环节。每一个环节都会改变数据的形态、语义或分布，也会引入新的风险点。如果无法清晰描述这条链路，血缘关系就无从建立，样本审计也失去了参照基准。本节将完整拆解从数据采集、清洗、标注、特征工程到训练集生成的五个核心阶段，帮助学员建立端到端的链路认知。

核心原理：数据链路是一条有向无环的加工图

从工程视角看，数据链路本质上是一张有向无环图（DAG）。节点代表数据资产，包括原始数据、中间产物和最终训练集；边代表加工操作，包括采集、过滤、转换、标注和切分。每条边都应当记录操作类型、执行时间、执行者、参数配置和输入输出指纹。这样，当某个训练样本出现问题时，我们可以沿着边反向追溯，定位到具体的加工环节。

数据链路有三个关键属性。第一是不可逆性：清洗掉的数据通常无法从下游恢复，因此清洗规则必须版本化。第二是语义漂移：标注和特征工程会改变数据的语义，同一字段在不同阶段含义可能不同。第三是分布变化：采样、过滤和切分都会改变数据分布，训练集分布不等于原始数据分布。理解这三点，才能设计出合理的审计策略。

方法流程：五个阶段的加工逻辑与审计要点

下面按顺序说明每个阶段的核心操作和必须留存的审计信息。

1. 数据采集：从业务系统、日志、公开数据集或人工录入等来源获取原始数据。审计要点是记录来源标识、采集时间、授权凭证和原始文件哈希。哈希是后续验证数据未被篡改的基准。
2. 数据清洗：执行去重、缺失值处理、格式统一、异常值过滤和敏感信息脱敏。审计要点是记录清洗规则ID、规则版本、过滤条件和输入输出行数。清洗规则一旦变更，必须生成新版本，否则无法复现历史数据集。
3. 数据标注：由标注人员或自动标注模型为样本打上标签。审计要点是记录标注规范版本、标注员ID、质检结果和标注一致性分数。多人标注时，还需记录仲裁规则。
4. 特征工程：将原始字段转换为模型可用的特征，包括编码、归一化、分桶、交叉特征等。审计要点是记录特征名、计算逻辑、依赖字段和特征版本号。特征穿越是常见风险，必须确认特征计算只使用预测时点之前的信息。
5. 训练集生成：执行训练集、验证集、测试集切分，必要时进行采样和打包。审计要点是记录切分策略、随机种子、样本ID列表和数据集指纹。切分策略必须与业务目标一致，避免时间泄漏。

# 执行数据链路并生成血缘记录
python run_pipeline.py \
  --config configs/pipeline_v3.yaml \
  --stage all \
  --lineage-output lineage/run_20240612.json \
  --dataset-fingerprint sha256

# 查看某次运行的血缘摘要
cat lineage/run_20240612.json | jq '.stages[] | {stage, input_hash, output_hash, rule_version}'

# 输出示例
{
  "stage": "clean",
  "input_hash": "a3f9...c21",
  "output_hash": "b7e2...d90",
  "rule_version": "clean_rules_v2.1"
}

案例/场景：一条电商评论数据集的链路追踪

假设某团队要训练一个评论情感分类模型。原始数据来自电商平台的用户评论，共120万条。采集阶段记录了来源为“评论API-2024Q2”，原始哈希为a3f9...c21。清洗阶段过滤掉重复评论和少于5个字的短评论，剩余98万条，清洗规则版本为clean_rules_v2.1。标注阶段由3名标注员对其中20万条进行情感标注，一致性分数为0.87，标注规范版本为label_guide_v1.3。特征工程阶段将评论文本转换为TF-IDF向量，并加入评论长度、点赞数等数值特征，特征版本为feat_v4。训练集生成阶段按时间切分，2024年1月至3月为训练集，4月为验证集，5月为测试集，随机种子为42。

后来模型在测试集上表现异常，审计人员沿血缘边反向追踪，发现测试集中混入了部分训练集样本。进一步检查发现，切分脚本在去重时使用了全局去重而非按时间窗口去重，导致部分样本同时出现在训练集和测试集中。这个案例说明，链路中任何一个环节的配置错误，都会通过血缘关系传导到最终训练集，而完整的审计记录是定位问题的关键。

误区/复盘：链路建设中的常见问题