3. 数据质量维度：特征工程 vs 端到端学习，谁更依赖数据清洗？
这个问题，我几乎每次做技术选型都会被问到。
很多人直觉上觉得：端到端学习不是能自动学特征吗？那应该对数据清洗要求更低吧？
嗯，实际情况恰恰相反。我踩过这个坑，今天跟你好好聊聊。
3.1 先看本质：两种范式的数据依赖路径
要搞清楚谁更依赖清洗，得先明白它们各自怎么"吃"数据。
- 传统算法 + 特征工程：人工构造特征 → 算法拟合。数据清洗发生在特征构造之前。
- 端到端深度学习：原始数据直接进网络 → 网络自己学特征。数据清洗发生在... 嗯，其实也发生在前面，但后果更严重。
说白了，传统算法是"你喂什么，它学什么"。端到端是"你喂什么，它自己决定学什么"。但问题在于——如果喂进去的是脏数据，它学到的也是脏特征。
核心结论：端到端学习对数据清洗的依赖程度，只高不低。区别在于：传统算法怕"特征脏"，端到端怕"标签脏"和"分布脏"。
3.2 传统算法：特征工程本身就是一种清洗
我早期做风控模型时，习惯用 XGBoost。那时候数据质量差到什么程度？缺失率 40%，异常值一堆。
但传统算法有个好处：特征工程阶段可以嵌入大量清洗逻辑。
- 缺失值：我可以做均值填充、中位数填充、甚至单独作为一个类别
- 异常值：分位数截断、Winsorize、或者直接标记为特殊值
- 噪声：通过特征选择、降维来过滤掉无关维度
你想想看，这些操作本质上就是在"清洗"。而且清洗的粒度很细——我可以针对每个特征单独设计清洗策略。
我的经验：传统算法项目中，特征工程和清洗往往是同一个步骤。我经常在构造特征的同时，顺手就把脏数据处理了。比如做 WOE 编码时，缺失值天然会被单独分箱——这本身就是一种清洗。
3.3 端到端学习：清洗不到位，模型学歪了都不知道
端到端学习看起来"省事"，但代价是：你失去了对中间特征的可见性。
我曾经做过一个图像分类项目，训练集里有一类图片的标注框偏了 2 个像素。传统算法可能根本不受影响，但 CNN 学到了这个偏移——推理时，只要目标位置稍微偏一点，模型就判错。
为什么会这样？因为网络把"位置偏移"当成了类别特征的一部分。
端到端学习对以下几种脏数据特别敏感：
| 脏数据类型 | 对传统算法的影响 | 对端到端学习的影响 |
|---|---|---|
| 标签噪声 | 中等（可通过特征工程缓解） | 严重（网络直接拟合错误标签） |
| 特征缺失 | 可控（可针对性填充） | 严重（网络可能学到"缺失=某种模式"） |
| 分布偏移 | 中等（可做特征对齐） | 严重（端到端模型泛化性更差） |
| 异常值 | 可控（可截断/变换） | 中等（BatchNorm 等有一定鲁棒性） |
| 冗余特征 | 低（特征选择可处理） | 高（浪费计算资源，可能过拟合） |
避坑指南：我曾经在一个 NLP 项目里，直接用原始文本训练 BERT，结果发现模型在测试集上表现极差。排查了三天，最后发现训练数据里有大量 HTML 标签没清理干净。模型学到了"<br> = 换行"这种模式，但测试数据里没有这些标签——直接崩了。
端到端学习不是"不用清洗"，而是"清洗不到位，后果更隐蔽"。
3.4 核心差异：清洗的"颗粒度"不同
我个人的理解是：
- 传统算法：清洗是特征级的。你可以针对每个特征单独设计清洗策略，出了问题容易定位。
- 端到端学习：清洗是样本级的。你只能保证"这个样本是干净的"，但网络内部怎么组合这些特征，你管不了。
举个例子：
传统算法里，如果"年龄"字段有异常值（比如 200 岁），你可以直接截断到 120。影响范围可控。
端到端学习里，如果一张图片里有一个像素点的值异常（比如传感器坏点），CNN 的卷积核可能会把这个坏点放大到整个特征图——你根本不知道它学到了什么。
3.5 选型决策：什么时候选谁？
我一般按这个逻辑来判断：
- 数据清洗成本高，但特征工程经验丰富 → 选传统算法。你可以把清洗逻辑嵌入到特征构造中，每一步都可解释。
- 数据质量极高，标注准确，分布稳定 → 选端到端学习。它能自动挖掘出人工特征工程发现不了的模式。
- 数据量大但脏 → 这是个陷阱。很多人觉得"数据量大就能喂给深度学习"，但脏数据量越大，模型学歪的风险越高。我建议先做一轮粗清洗，再用传统算法快速验证，最后再决定是否上端到端。
一句话总结：传统算法是"你帮它洗，它好好学"；端到端学习是"你不帮它洗，它乱学"。两者都需要清洗，但端到端学习的清洗要求更严格、更隐蔽、更难排查。
3.6 知识结构图：数据质量与算法选型的关系
下面这张图梳理了不同数据质量场景下的选型路径：
3.7 我的最终建议
如果你现在正在做选型，我建议你问自己三个问题：
- 你的标签准确率有多高？ 低于 95% 的话，端到端学习大概率会学歪。
- 你的特征缺失率有多高？ 超过 30% 的话，传统算法更容易处理。
- 你的数据分布会变吗？ 会变的话，端到端学习的泛化性是个大问题。
记住：数据清洗不是成本，是投资。无论选哪种范式，清洗做得越好，模型的天花板越高。区别只在于——传统算法允许你"边洗边做"，端到端学习要求你"先洗后做"。