1. 不平衡数据问题概述
1.1 到底什么是不平衡数据？
先聊聊定义吧。不平衡数据，说白了就是类别分布严重不均匀。比如二分类问题，正样本只占5%，负样本95%。你想想看，这种数据在实际业务里太常见了——信用卡欺诈交易、罕见病诊断、设备故障预测……哪哪都是。
我在项目里遇到过最极端的情况：一个反欺诈数据集，正样本比例只有0.01%。当时我拿原始数据直接训练了个逻辑回归，准确率99.99%，我还挺高兴。结果一上线，天天漏报欺诈，业务方差点把我桌掀了。嗯，这就是典型的「准确率陷阱」。
所以，要是我来定义：不平衡数据就是类别占比悬殊，导致标准模型「学会」忽略少数类的数据问题。这不是数据本身有错，是我们的常规算法处理不了这种偏态分布。
避坑提醒： 我曾经以为采样能解决一切。欠采样、过采样、SMOTE……每个都试过，但如果不先理解「为什么不平衡会影响模型」，采样只是治标不治本。
1.2 不平衡数据带来的影响
核心影响有三方面，我一个个说清楚。
| 影响维度 | 具体表现 | 我碰到的真实案例 |
|---|---|---|
| 模型偏差 | 分类器倾向于预测多数类，少数类几乎被无视 | 某电商CTR模型，点击率样本只占0.3%，模型学成了「永远不点击」的傻子 |
| 评价失真 | 用准确率衡量，看起来很好，实际毫无价值 | 上面说的欺诈检测，准确率99.9%，召回率却只有2% |
| 泛化失败 | 模型在真实场景中无法识别少数类新模式 | 医疗影像诊断系统在罕见病例上几乎崩溃 |
- 模型偏差（Bias）：多数类占主导，损失函数被它带偏。梯度下降过程中，多数类的误差项反复更新参数，少数类的贡献微乎其微。最后决策边界几乎完全由多数类决定。
- 评价失真（Misleading Metrics）：准确率（Accuracy）在这种场景下是毒药。我见过不止一个团队拿99%的准确率去汇报，结果被专家一问「召回率多少」就哑口无言。
- 泛化失败（Generalization Collapse）：少数类样本太少，模型根本「没见过」足够的模式变体。一旦线上出现新的少数类形态，模型完全不认识。
为什么准确率不可信？举个例子：1000个样本里只有10个正样本。你直接猜全部为负，准确率 = 990/1000 = 99%。听起来很牛，但正样本一个都没抓住。
1.3 评价指标——别被准确率骗了
既然准确率不靠谱，该用什么？我个人习惯先看混淆矩阵（Confusion Matrix），然后从它导出四个关键指标。
预测为正 预测为负
实际为正 TP FN
实际为负 FP TN从这张表出发，定义以下指标：
- 准确率 = (TP+TN) / (TP+TN+FP+FN) —— 仅当类别平衡时有意义
- 精确率 = TP / (TP+FP) —— 预测为正例中有多少是真的正？重点在「不要误报」
- 召回率 = TP / (TP+FN) —— 真的正例中被找出多少？重点在「不要漏报」
- F1分数 = 2 × (P×R)/(P+R) —— 精确率和召回率的调和平均，均衡考量
- ROC-AUC —— 不依赖阈值，评估模型排序能力
- PR-AUC —— 在极端不平衡时比ROC更敏感
我曾经做一个罕见病筛查项目，正样本比例只有0.05%。拿ROC-AUC看0.93，似乎不错。但换成PR-AUC一看，只有0.12。为什么？因为ROC的横轴FPR（假正率）分母太大，罕见病场景下FPR再怎么低，都比正样本数量多，导致ROC被「稀释」了。PR曲线直接聚焦正样本，更真实。
我个人经验：当负样本数量是正样本的100倍以上时，优先看PR曲线和PR-AUC。ROC-AUC可以作为辅助，但不要只看它。
1.4 评价指标推荐组合
根据不同场景，我习惯这样选：
| 应用场景 | 首选指标 | 次选指标 | 理由 |
|---|---|---|---|
| 欺诈检测 | 召回率 + PR-AUC | F1 | 漏报（漏掉欺诈）代价极高 |
| 广告点击预测 | 精确率 + F1 | PR-AUC | 误报（浪费广告预算）比漏报更糟 |
| 医疗诊断 | 召回率 + ROC-AUC | F1 | 宁可误诊不可漏诊 |
| 通用不平衡分类 | F1-score + PR-AUC | G-mean | 平衡精确率和召回率 |
注意，不要只用单一指标。我在项目里吃过亏：只盯着F1调参，结果模型在多数类上表现极差，业务方抱怨「正常用户都被误判成少数类了」。后来我改成同时监控多数类和少数类的召回率，才拉回来。
别忘了： 任何指标都只能在和业务目标对齐的前提下才有意义。我曾经被客户要求「准确率要大于99%」，我花了一周解释为什么这个要求本身就是坑。
1.5 知识体系一览
下面这张图总结了本章的核心知识点结构。你可以看到问题定义→影响→评价指标→解决方法方向是一条完整链路。后续章节我们会逐个深入。