1. 坏样本定义：什么是坏样本、坏样本的类型、坏样本对模型的影响
1.1 什么是坏样本
在机器学习工程中，坏样本（Bad Sample）是指那些在质量、分布、标签或结构上偏离预期标准，从而对模型训练产生负面影响的训练数据点。坏样本并非简单的“错误数据”，而是指任何导致模型学习到错误模式、降低泛化能力或引入偏差的样本。
1.2 坏样本的五大类型
根据数据质量问题的来源与表现形式，坏样本可分为以下五类。下表总结了各类的定义、典型场景与检测难度：
| 类型 | 定义 | 典型场景 | 检测难度 |
|---|---|---|---|
| 噪声样本 | 特征或标签受到随机干扰，偏离真实分布 | 传感器读数漂移、OCR识别错误、用户误操作 | 中等 |
| 异常样本 | 特征值显著偏离正常分布范围，但并非随机噪声 | 欺诈交易、设备故障信号、罕见事件记录 | 较低（统计方法） |
| 缺失样本 | 部分特征值或标签缺失，导致信息不完整 | 用户未填写字段、传感器断连、数据采集遗漏 | 低 |
| 重复样本 | 完全或高度相似的样本在数据集中多次出现 | 日志重复采集、数据合并未去重、爬虫重复抓取 | 低 |
| 标签错误样本 | 样本特征正确但标注的标签与真实类别不符 | 人工标注疲劳、标注指南歧义、自动标注算法缺陷 | 高 |
1.3 各类坏样本的详细说明
1.3.1 噪声样本
噪声是数据采集或传输过程中引入的随机扰动。在图像任务中表现为像素点异常，在文本任务中表现为拼写错误或乱码，在数值型特征中表现为离群抖动。噪声会模糊特征与标签之间的真实映射关系，迫使模型学习到不稳定的边界。
1.3.2 异常样本
异常样本虽然也偏离正常分布，但与噪声不同——异常往往携带真实但稀有的信息。例如信用卡欺诈交易的特征组合在正常交易中几乎不会出现。异常样本对模型的影响具有两面性：若任务目标是异常检测，则异常样本是正样本；若任务目标是常规分类，则异常样本会严重扭曲决策边界。
1.3.3 缺失样本
缺失值是最常见的数据质量问题。缺失机制分为三种：完全随机缺失（MCAR）、随机缺失（MAR）、非随机缺失（MNAR）。不同缺失机制对模型的影响差异巨大，MNAR 场景下直接删除缺失样本会引入严重偏差。
1.3.4 重复样本
重复样本会导致模型对重复出现的模式过度加权，相当于隐式改变了训练集的样本权重分布。在类别不平衡数据集中，若少数类样本被重复，模型会误以为该类别的真实分布密度更高，从而产生过拟合。
1.3.5 标签错误样本
标签错误是破坏性最强的坏样本类型。模型会直接学习到错误的特征-标签对应关系，导致决策边界偏移。在深度学习中，标签错误还会引发“记忆效应”——模型先记住干净样本，后逐渐拟合错误标签，最终损害泛化能力。
1.4 坏样本对模型的影响
坏样本对模型训练的影响是多维度、系统性的。下表从五个关键维度对比了不同类型坏样本的影响程度：
| 影响维度 | 噪声样本 | 异常样本 | 缺失样本 | 重复样本 | 标签错误样本 |
|---|---|---|---|---|---|
| 训练损失 | 小幅升高 | 大幅升高 | 取决于填补策略 | 无直接影响 | 持续升高且不收敛 |
| 模型偏差 | 中等 | 高 | 中等到高 | 低 | 极高 |
| 模型方差 | 升高 | 升高 | 升高 | 降低（虚假稳定） | 升高 |
| 泛化能力 | 下降 | 严重下降 | 下降 | 轻微下降 | 严重下降 |
| 可解释性 | 降低 | 降低 | 降低 | 无影响 | 严重降低 |
1.5 坏样本影响机制：SVG 流程图
下图展示了坏样本从产生到影响模型性能的完整传导路径：
1.6 坏样本影响的量化指标
在实际项目中，可以通过以下指标量化坏样本的影响程度：
- 样本影响分数（Sample Influence Score）： 通过留一法或影响函数计算每个样本对模型参数的影响大小。
- 损失贡献比： 单个样本的损失占总体损失的百分比，异常高的样本往往是坏样本。
- 预测置信度： 模型对某个样本预测的置信度持续低于阈值，提示该样本可能是坏样本。
- 训练动态曲线： 坏样本在训练早期损失下降缓慢，后期反而上升，形成“V形”损失曲线。