1. 坏样本定义
1.1 什么是坏样本
在风控、反欺诈与异常检测场景中，坏样本是指那些在数据采集、标注或存储过程中引入的、与真实业务状态不一致的样本。坏样本的核心特征是标签错误或特征失真，导致模型学习到错误的映射关系，从而降低模型的泛化能力和业务效果。
核心定义：坏样本 = 标签与真实状态不一致 或 特征严重偏离正常分布的样本。
1.2 坏样本在风控/反欺诈/异常检测中的典型表现
| 业务场景 | 典型坏样本表现 | 对模型的影响 |
|---|---|---|
| 信贷风控 | 逾期客户被标记为“好客户”；正常还款客户被误标为“坏客户” | 模型低估风险，放贷给高风险用户；或拒绝优质客户 |
| 反欺诈 | 欺诈交易被标记为“正常”；正常交易被标记为“欺诈” | 漏报欺诈，造成资金损失；误报过多，影响用户体验 |
| 异常检测 | 系统故障数据被标记为“正常”；正常数据被标记为“异常” | 告警失效，运维人员信任度下降 |
| 用户画像 | 爬虫行为被标记为“真实用户”；真实用户被标记为“爬虫” | 运营策略偏差，资源浪费 |
1.3 坏样本与噪声的区别
坏样本与噪声是特征工程中两个容易混淆的概念，但它们的来源、影响和处理方式有本质区别。
| 对比维度 | 坏样本 | 噪声 |
|---|---|---|
| 定义 | 标签或特征与真实状态系统性不一致 | 数据中随机出现的、无规律的测量误差或波动 |
| 来源 | 标注错误、数据录入错误、标签泄露、样本选择偏差 | 传感器误差、传输丢包、环境干扰、人为录入笔误 |
| 分布特征 | 通常具有系统性，集中在某些子群体或特征区间 | 通常随机，服从某种概率分布（如高斯噪声） |
| 对模型影响 | 导致模型系统性偏差，降低泛化能力 | 增加模型方差，降低拟合精度 |
| 处理方式 | 需要归因定位后修正或剔除 | 可通过平滑、滤波、正则化等方法抑制 |
| 典型示例 | 欺诈样本被标注为正常（标签翻转） | 用户年龄字段因输入错误出现异常值 |
经验法则：如果某个异常样本在业务上可以解释其“错误原因”，且该错误模式在数据中重复出现，则更可能是坏样本；如果异常是孤立的、无规律的，则更可能是噪声。
1.4 坏样本与噪声的关系示意图
1.5 坏样本的常见成因
- 标注错误：人工标注时主观判断失误、标注指南不清晰、标注工具缺陷。
- 标签泄露：特征中包含了未来信息，导致训练时标签被“提前知道”。
- 样本选择偏差：训练数据与真实业务分布不一致，例如只采集了通过审核的样本。
- 数据录入错误：系统对接时字段映射错误、时间戳解析错误、编码不一致。
- 对抗性污染：黑产故意制造虚假样本以干扰模型训练。
注意：在风控和反欺诈场景中，坏样本的比例通常远低于噪声，但其破坏力远大于噪声。一个标签翻转的坏样本可能导致模型在关键决策点上完全失效。
1.6 坏样本的初步识别方法
| 方法 | 适用场景 | 操作要点 |
|---|---|---|
| 标签分布检查 | 分类任务 | 检查正负样本比例是否与业务预期严重偏离 |
| 特征-标签交叉验证 | 有监督学习 | 检查高置信度特征与标签是否矛盾（如收入为0但标签为高消费） |
| 模型残差分析 | 回归/分类 | 训练一个简单模型，检查残差较大的样本是否具有共性 |
| 聚类+人工审核 | 无监督/半监督 | 对样本聚类后，检查异常簇中的样本标签是否合理 |
| 时间序列一致性 | 时序数据 | 检查标签是否随时间出现不合理的突变 |
实践建议：在项目初期，建议先花20%的时间做坏样本排查。很多模型效果差的原因不是算法不够好，而是数据中存在大量未被发现的坏样本。