1. 课程导入
在模型训练从“实验性尝试”走向“工程化交付”的过程中，团队最常遇到的困境并不是算法不够先进，而是数据说不清、样本查不到、问题复现不了。一个模型在离线评估中表现优异，上线后却出现明显偏差；一次数据清洗脚本的改动，导致三周后的训练结果全面回退；审计人员要求说明某条训练样本的来源与授权，团队却只能翻找散落的日志和临时文件。这些问题的共同根源，是训练数据缺乏可追溯的血缘关系，样本缺乏可验证的审计链路。本课程正是围绕这两个核心能力展开。
一、什么是数据血缘与样本审计
数据血缘（Data Lineage）描述的是数据从原始来源到最终消费形态之间的流转关系。在模型训练场景中，它回答的是：某次训练所用的数据集，由哪些原始表、文件、接口或采集批次构成；经过了哪些清洗、过滤、增强、采样和特征变换；每一步由哪个任务、哪个版本、哪个参数产生。血缘既包括粗粒度的数据集级依赖，也包括细粒度的字段级、样本级映射。
样本审计（Sample Audit）则是在血缘基础上，对具体样本进行可验证的检查与追踪。它关注单条或一批样本的“身份信息”：样本来自哪个数据源、何时进入训练集、是否被去重或过滤、是否命中敏感信息规则、在训练中被哪些轮次使用、是否可被安全删除或隔离。样本审计的目标不是“记录一切”，而是在需要时能够快速回答关于某条样本的关键问题。
一句话概括：数据血缘解决“数据从哪来、怎么变”的问题；样本审计解决“这条样本是谁、能不能用、出问题找谁”的问题。二者共同构成模型训练数据治理的底座。
二、核心原理：血缘与审计的三角支撑
要理解数据血缘与样本审计的工程价值，可以将其归纳为三个相互支撑的要素：标识、关系、证据。
- 标识（Identity）：为数据集、数据版本、样本批次、训练任务分配稳定且唯一的标识符。没有标识，血缘就退化为模糊的“大概来自某张表”。
- 关系（Relation）：记录数据实体之间的输入输出关系，包括任务依赖、字段映射、样本过滤条件、版本继承关系。关系是血缘的骨架。
- 证据（Evidence）：保存可复核的元数据、日志、校验值、审计记录。证据使血缘和审计从“声明”变为“可验证事实”。
三者缺一不可。只有标识没有关系，无法形成链路；只有关系没有证据，无法通过审计；只有证据没有标识，则无法高效检索和关联。工程实践中，很多团队只做了日志采集，却因为没有统一标识和关系建模，导致数据问题排查仍然依赖人工翻找。
三、方法流程：从数据接入到审计闭环
在工程落地中，数据血缘与样本审计通常遵循一条从接入到闭环的流程。不同团队的工具链不同，但核心环节具有共性：
- 数据接入与登记：对原始数据源进行登记，分配数据集标识，记录来源、负责人、授权范围、更新频率。
- 加工链路埋点：在清洗、过滤、增强、采样、特征工程等环节采集输入输出关系，形成任务级和字段级血缘。
- 样本标识与批次管理：为样本或样本批次生成稳定标识，记录其进入训练集的时间、来源版本、过滤条件。
- 训练任务关联：将训练任务与数据集版本、样本批次、代码版本、参数配置进行绑定，形成训练血缘快照。
- 审计查询与验证：支持按样本、按数据集、按训练任务进行正向和反向追溯，并输出可复核的审计报告。
- 问题复盘与治理：当出现数据偏差、样本泄露或合规问题时，基于血缘和审计记录定位影响范围，执行隔离、回滚或重新训练。
这条流程的关键在于自动化采集和统一元数据模型。如果依赖人工填写表格，血缘很快会过期；如果各环节元数据格式不统一，审计时仍然需要大量人工关联。
四、案例场景：一次样本泄露的排查
假设某推荐模型上线后，离线AUC提升了3个百分点，但线上点击率反而下降。排查发现，训练集中混入了一批与线上分布差异很大的历史活动样本。团队需要回答三个问题：这批样本从哪来？经过了哪些处理？影响了哪些模型版本？
如果具备数据血缘与样本审计能力，排查过程可以大幅缩短：
| 排查问题 | 依赖能力 | 预期输出 |
|---|---|---|
| 这批样本来自哪个数据源 | 数据集级血缘 | 来源表、采集批次、负责人 |
| 经过了哪些过滤和变换 | 任务级与字段级血缘 | 清洗任务、过滤条件、特征变换记录 |
| 进入了哪些训练集版本 | 样本批次与训练任务关联 | 数据集版本、训练任务ID、时间范围 |
| 影响了哪些线上模型 | 训练血缘与模型发布记录 | 模型版本、发布时间、影响用户范围 |
| 如何隔离和回滚 | 审计证据与版本管理 | 可执行的隔离方案与重训计划 |
没有这套能力时，团队往往只能通过“重新跑一遍”“全量替换数据”来应急，成本高且无法保证彻底解决问题。有了血缘和审计，排查从“猜测”变为“定位”，从“全量回滚”变为“精准隔离”。
五、常见误区与复盘要点
误区一：把日志当血缘。日志记录的是“发生了什么”，血缘记录的是“数据之间是什么关系”。日志量大但关系缺失，仍然无法快速追溯。
误区二：只做数据集级血缘，忽略样本级审计。数据集级血缘能回答“用了哪个版本”，但无法回答“某条样本为什么被删除”或“某用户数据是否被用于训练”。
误区三：血缘采集影响训练性能。合理的做法是异步采集、采样记录、元数据与训练数据分离，而不是在训练主链路上做重操作。
误区四：审计记录只存不查。审计的价值在于可查询、可验证、可输出报告。如果记录不可检索，等于没有审计。
复盘时，建议团队重点检查四个问题：标识是否全局唯一且稳定；关系是否覆盖关键加工环节；证据是否可复核且保留周期满足合规要求；查询是否支持正向和反向追溯。这四个问题，也是本课程后续章节反复训练的核心能力。
六、学习目标与课程框架
通过本课程，你将能够：
- 理解数据血缘与样本审计的核心概念、工程价值和适用边界；
- 掌握数据集级、任务级、字段级和样本级血缘的建模方法；
- 能够设计并实现样本标识、批次管理和审计查询链路；
- 能够将血缘与审计能力接入真实训练流程，并处理性能与合规约束；
- 能够基于血缘和审计记录完成数据问题定位、影响分析和复盘报告。