4. 数据泄漏入门
在机器学习项目中，模型离线指标漂亮、上线效果崩塌，最常见的原因之一就是数据泄漏（Data Leakage）。它指的是在训练过程中，模型意外接触到了在真实预测时不可能获得的信息，导致评估结果被系统性高估。更危险的是，泄漏往往不会报错，反而让实验看起来"非常成功"。
一、核心原理：泄漏为什么会让评估失真
机器学习的评估逻辑建立在"训练集与测试集独立同分布"的假设上。数据泄漏破坏的正是这个假设：它让测试集的信息以某种方式渗透进训练过程。常见有三条渗透路径：
- 特征泄漏：某个特征本身由标签派生，或只有在标签确定后才存在。例如用"是否已还款"预测"是否违约"。
- 时间泄漏：训练时使用了未来信息。例如用全量数据的均值做标准化，再切分训练测试。
- 样本泄漏：同一实体或高度相似的样本同时出现在训练集和测试集。例如同一用户的多次记录被随机切分。
这三类泄漏的共同点是：模型在训练时学到了"现实中拿不到的信号"，于是离线指标虚高，线上表现骤降。下面这张图展示了泄漏如何在数据流中"抄近路"。
二、常见类型与识别清单
数据泄漏不是单一错误，而是一类问题的统称。下表按发生位置和典型信号做了归纳，可作为项目自查清单使用。
| 类型 | 发生位置 | 典型信号 | 修复方向 |
|---|---|---|---|
| 目标泄漏 | 特征工程 | 某特征与标签相关性异常高 | 删除派生特征，回溯特征生成时点 |
| 时间泄漏 | 预处理 / 切分 | 用全量统计量做标准化 | 先切分，再在训练集上拟合变换 |
| 样本泄漏 | 数据切分 | 同用户/同设备跨集出现 | 按实体分组切分（GroupSplit） |
| 重复泄漏 | 数据清洗 | 训练测试存在完全重复行 | 去重后再切分 |
| 标签泄漏 | 标注流程 | 标签由未来行为生成 | 明确预测时点，重定义标签窗口 |
三、真实案例警示
案例一：医疗预测模型"未卜先知"。某团队用住院数据预测患者是否会发生并发症，模型 AUC 高达 0.99。复盘发现，特征中包含了"是否使用某抢救药物"，而该药物只在并发症发生后才会开具。删除该特征后，AUC 回落到 0.78，这才是真实水平。
案例二：金融风控的时间穿越。某信贷模型在离线评估中表现优异，上线后坏账率却上升。原因是特征标准化使用了全量数据的均值和方差，而全量数据包含了未来申请人的信息。改为"先按时间切分，再在训练集上拟合标准化参数"后，离线指标下降，但线上表现与离线一致。
案例三：推荐系统的同用户泄漏。某推荐模型随机切分用户行为日志，同一用户的历史和未来行为被分到训练集与测试集。模型实际上"记住了"用户偏好，离线点击率虚高。改用按用户分组切分后，指标回归合理区间。
四、误区与复盘
很多团队在排查泄漏时容易陷入以下误区：
- 只看代码不看数据流。泄漏常发生在数据采集和标注阶段，而非建模代码。必须端到端梳理特征的生命周期。
- 用随机切分处理时序数据。时序场景必须按时间切分，否则未来信息会泄漏到过去。
- 在切分前做全局预处理。标准化、缺失值填充、编码等操作都必须在训练集上拟合，再应用到测试集。
- 忽视实体粒度。用户、设备、门店等实体若跨集出现，模型会通过实体记忆而非泛化来"作弊"。
正确的做法是建立防泄漏流水线：先定义预测时点，再按时间或实体切分，所有预处理只在训练集拟合，最后用独立的验证集复核。下面是一段典型的错误与正确写法对比：
# 错误：先标准化再切分，测试集信息泄漏到训练
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
X_train, X_test, y_train, y_test = train_test_split(X_scaled, y)
# 正确：先切分，再在训练集上拟合
X_train, X_test, y_train, y_test = train_test_split(X, y)
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test) # 只用 transform，不 fit
复盘时建议把"泄漏检查"作为模型评审的固定环节：任何指标提升都要能解释清楚信号来源，任何特征都要能回答"预测时点是否可得"。只有把防泄漏意识嵌入流程，模型评估才真正可信。