MD特征学习简介：缺失数据特征学习的概念与重要性
各位，这一章我们聊点基础但容易被忽视的东西——缺失数据特征学习。
你可能会想：“不就是把缺失值填上吗？用均值、中位数对付一下不就行了？”
嗯，我刚开始做机器学习项目时也是这么想的。直到有一次，我接手了一个二分类任务，数据里缺失率高达40%，我用均值填充后模型死活调不高。后来找了半天才发现：缺失本身就是一个信号，它会改变特征分布、影响模型对真实模式的捕捉。
今天我就把这部分心得体会整理出来。说白了，缺失数据特征学习，不是简单的填充，而是一种专门针对“缺失”这种特殊数据形态的特征工程方法论。你只有理解了它，才能在后续处理不平衡数据时不再头痛。
缺失数据特征学习：到底是什么？
先拆开看。
- 缺失数据：样本中某些特征值没有记录。可能是传感器没采集、用户没填写、传输丢包……原因很多。
- 特征学习：从原始数据中自动或半自动地提取更有效、更鲁棒的特征表示。
- 缺失数据特征学习：专门针对含有缺失值的数据集，设计特征变换、填充策略或专门模型，使得最终特征能同时包含“完整信息”和“缺失模式”。
我曾经在工业设备监测项目里遇到过：某个温度传感器每隔2小时就会离线5分钟，导致每天产生48个缺失值。如果简单用前向填充，模型就会把“温度突然回到正常值”误判成故障信号。后来我引入了一个缺失指示特征，把是否缺失单独编码成一个特征维度，模型才终于分清了。
为什么它比你想的重要得多？
我总结了三层原因，一层比一层深。
| 层次 | 核心问题 | 典型场景 |
|---|---|---|
| 信息层 | 缺失本身可能携带信息 | 用户未填写“收入”字段可能暗示其收入不稳定 |
| 分布层 | 填充会扭曲原始分布 | 均值填充导致方差被压缩、异常点被掩盖 |
| 模型层 | 某些模型对缺失天然无感（如GBDT），但LR/XGBoost的优化方向不同 | 树模型能天然处理缺失（自己学习分支方向），但线性模型需要填充 |
你以为你只是“补了个空值”，实际上你改变了数据的统计性质。这就是为什么很多人在数据预处理后模型效果反而变差了——你强迫模型相信一个并不存在的“正常值”。
它和不平衡数据有什么关系？
好问题。很多复杂场景里，欠采样过采样与缺失填充会相互放大副作用。
举个例子：你做信用卡欺诈检测，正样本（欺诈）只有1%，负样本99%。欺诈样本里有50%的“交易金额”字段缺失（因为黑产故意不传）。如果你简单用均值填充，欺诈样本的金额分布就会被拉到正常交易的均值附近，本来明显的“大额异常”特征就被抹消了。再配合SMOTE过采样，合成样本也继承了这种被污染的分布——最后模型几乎区分不了欺诈和正常。
我自己就踩过这个坑。解决方案是：先做缺失指示特征，再分层填充（按类别分别填充均值），最后再做SMOTE。流程顺序很重要。
一张图说清核心逻辑
我画了张结构图，把缺失数据特征学习的几个关键维度串起来。你浏览一遍心里就有数了。
从图中可以看到，我习惯把缺失处理拆成两条线：一条专门提取缺失模式（指示特征），另一条做精细化填充。两路汇合，既保留了缺失的有无信息，又补上了大概的数值分布。这样做出来的特征矩阵，质量比单靠填充要好得多。
实操中的几个建议
- 先做EDA，看缺失模式：是随机缺失（MCAR）、随机条件缺失（MAR）还是非随机缺失（MNAR）？策略完全不同。
- 填充前先做缺失指示：哪怕你决定用最笨的均值填充，也别忘了加一个 flag 列标明哪些样本原本是缺失的。这一招在我做过的所有项目中几乎都有效。
- 类别型缺失不要盲目填充：用“未知”或“-1”直接作为新类别，有时比用众数填充效果好。
- 树模型可以“不填充”：XGBoost、LightGBM 都支持缺失值自动学习分支方向。如果你用的是这类模型，可以尝试保留 NaN 不填充，让模型自己决定。不过要注意：当缺失率极高时，模型可能学到奇怪的路径，还是需要人工干预。