采样偏差源分析：随机采样、分层采样、留出法中的偏差

做打分函数，数据采样是第一步。采样没搞好，后面模型训练得再好也是白搭。

我在项目中遇到过不少因为采样偏差导致模型“虚胖”的情况——离线指标漂亮，线上却直接崩盘。说白了，采样偏差就是收集到的数据跟真实分布差了老远。今天咱们掰开揉碎讲讲三种常见采样方式各自容易踩的坑。

1. 随机采样中的偏差

大家都觉得随机采样无偏，对吧？理论上确实如此——只要每次采样独立、等概率，样本期望就能逼近总体。但现实哪有那么完美？

我调过好几个推荐系统打分模型，发现随机采样最容易翻车的地方是：

• 样本量不足：小样本下随机波动被放大，无偏性只在无限样本下成立。你想想，抽10个样本和抽10000个样本，随机性带来的偏差完全不同。
• 非随机缺失：用户行为数据天然缺失，不是每个item都有反馈。随机采样只对“已观测”的数据随机，那些没被观测到的样本根本进不了采样池——这本身就引入了选择偏差。
• 时间漂移：数据分布会随时间变化，随机采样如果跨时间窗口，等于把不同分布的数据混在一起，偏差就悄悄进来了。

看一个简单的模拟代码，你就明白了：

import numpy as np

# 模拟真实分布：两个类别各占50%
true_labels = np.random.choice([0,1], size=100000, p=[0.5,0.5])

# 随机采样1000个样本
sample_idx = np.random.choice(len(true_labels), size=1000, replace=False)
sample_labels = true_labels[sample_idx]

# 计算类别比例
print("真实分布类别0比例:", np.mean(true_labels==0))
print("采样分布类别0比例:", np.mean(sample_labels==0))
# 每次运行结果都不同，样本量越小偏差越明显

嗯，说白了随机采样只能保证大数定律下的无偏，小样本它就是赌运气。

2. 分层采样的偏差控制与陷阱

分层采样是为了克服随机采样对小众群体覆盖不足的问题。具体做法是按某个特征（比如用户活跃度、物品类别）把总体分成几层，然后每层独立随机采样。这么做能大大降低层内方差，但也藏着新坑。

层划分失当是最常见的偏差源。我见过一个团队把用户按“最近7天点击次数”分成高中低三层，结果分层边界刚好落在数据稀疏区域，导致中层样本量极少，采样时直接放弃那层——等于把中间群体的分布给忽略了。

另一个问题是层内非随机性。分层只保证层内成员被采到的概率相同，但如果层本身就不是纯的（比如一层里混着两种不同行为模式），那层内随机采样照样有偏差。你想想看，这跟未分层差别不大。

实践中我建议用比例分配法，让每层采样数与总体比例保持一致。代码示范：

from sklearn.model_selection import StratifiedShuffleSplit

# 假设数据框df，标签列y
sss = StratifiedShuffleSplit(n_splits=1, test_size=0.2, random_state=42)
for train_idx, test_idx in sss.split(df, df['label']):
    train_df = df.iloc[train_idx]
    test_df = df.iloc[test_idx]

# 检查测试集标签比例是否与训练集一致
print("训练集标签比例：", train_df['label'].value_counts(normalize=True))
print("测试集标签比例：", test_df['label'].value_counts(normalize=True))

3. 留出法中的偏差

留出法就是一次性把数据集分成训练集和测试集，比如常见的70%/30%划分。它简单粗暴，但偏差陷阱特别多。

首先，划分比例不当本身就会引入偏差。测试集太小，评估指标的方差大；训练集太小，模型欠拟合。你想想，如果总分5000条数据，你留100条做测试，那测试集里的随机波动足以让A/B测试结果翻车。

更隐蔽的是分布一致性问题。留出法假设划分后两个子集的分布相同，但实际数据往往有结构性变化。我做过一个短文本打分模型，直接用随机留出法划分，结果训练集里“好评”占60%，“差评”占10%（其余中性），测试集里刚好反过来了——因为原始数据存在时间顺序，而我的划分没考虑时间。

看个错误示范：

# 错误做法：直接随机切分，不考虑标签平衡
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 检查标签分布
print("训练集标签分布：", np.mean(y_train))
print("测试集标签分布：", np.mean(y_test))
# 如果原始数据中正负比例差异大，两个分布可能差3-5个百分点

所以，我建议对于分类问题，至少要用分层留出法（StratifiedShuffleSplit），让划分后标签比例尽量一致。对于时间序列数据，需按时间顺序划分，严禁随机打乱。

三种方法的偏差来源对比

最后再说一句：采样偏差控制不是一次性活，需要你在每次训练-测试划分后都做分布一致性检查。我习惯用KS检验或JS散度来量化，发现偏差超阈值就重新采样或调整方法。别嫌麻烦，这一块偷懒，后面全白干。