留一交叉验证：计算成本与极低样本量的适用性
留一交叉验证，简称LOOCV，是交叉验证家族里最"极端"的一种。你想想看——每次只留一个样本做测试，剩下所有样本都拿来做训练，然后重复N次。说白了，就是让每个样本都有一次当"独苗"的机会。
我个人习惯在样本量极小的时候用它。但我也踩过不少坑，今天就把这些经验掰开揉碎了讲清楚。
LOOCV 的核心逻辑
假设你有N个样本。LOOCV会做N次训练-测试循环：
- 第1次：样本1做测试，样本2～N做训练
- 第2次：样本2做测试，样本1、3～N做训练
- ……
- 第N次：样本N做测试，样本1～N-1做训练
最后把N次测试误差平均，得到最终评估。这么做的核心优势是啥？偏差极低——每次训练集都包含了几乎全部数据，模型见到的信息最完整。
但代价呢？计算量爆炸。尤其是当N超过几百时，你可能等得想摔键盘。我曾经在一个1000样本的项目里硬跑LOOCV，结果训练时间从15分钟变成了3天……嗯，从那以后我再也不敢盲目用LOOCV了。
计算成本分析：O(N · T_train)
假设单次训练复杂度为O(T_train)，那么LOOCV的总复杂度是 O(N × T_train)。而常规10折交叉验证只需要O(10 × T_train)。
来看一组典型对比：
| 方法 | 训练次数 | 每次训练集大小 | 总计算量 | 适用场景 |
|---|---|---|---|---|
| LOOCV | N | N-1 | O(N · T_train) | N < 100 时推荐 |
| 10折CV | 10 | 0.9N | O(10 · T_train) | N > 1000 时常用 |
| 5折CV | 5 | 0.8N | O(5 · T_train) | 资源紧张时妥协 |
你可以用下面这段代码快速感受LOOCV的时间开销：
import numpy as np
from sklearn.model_selection import LeaveOneOut
from sklearn.linear_model import LogisticRegression
import time
X = np.random.rand(200, 10) # 200样本，10特征
y = np.random.randint(0, 2, 200)
loo = LeaveOneOut()
model = LogisticRegression(max_iter=1000)
start = time.time()
scores = []
for train_idx, test_idx in loo.split(X):
model.fit(X[train_idx], y[train_idx])
scores.append(model.score(X[test_idx], y[test_idx]))
end = time.time()
print(f"LOOCV 耗时: {end - start:.2f} 秒")
print(f"平均准确率: {np.mean(scores):.3f}")
当N=200时，这段代码在我的笔记本上跑了大约40秒。换成10折CV，3秒就出结果了。差异就是这么明显。
样本量极小时的适用性
我来说说什么时候非用LOOCV不可。关键就看一个指标：样本量N。
- N < 20：强烈推荐LOOCV。此时任何折数（比如5折）的训练集都会太少，模型根本学不到东西。
- 20 ≤ N < 100：LOOCV可以用，但建议权衡。如果模型训练很快（比如线性模型），可以接受。
- N ≥ 100：慎用。就算单次训练只要1秒，100秒的总时间也够呛。更别说模型超参调优时要嵌套LOOCV。
- N ≥ 1000：别想了。用10折或5折，或者用蒙特卡洛交叉验证替代。
我有个真实案例。曾经做医学影像小样本分类，只有15个病人的数据。如果用5折交叉验证，每折训练集只有12个样本，测试集3个——结果模型方差大到离谱，不同折的准确率从0.4跳到了0.9。换成LOOCV后，虽然耗时增加到15倍（15次训练），但每次训练集有14个样本，模型稳定了很多。
LOOCV 的方差问题
很多人以为LOOCV无偏就一定好，其实不然。偏差低但方差可能很高。为什么呢？
你想想看，N-1个样本训练出的模型几乎一模一样（因为每次只差一个样本）。这些模型给出的预测高度相关。最终平均的误差只相当于一次随机划分的误差，而不是独立重复的平均。这就是LOOCV方差的来源——每次测试样本都不同，但模型之间太像了。
对比一下：
| 指标 | LOOCV | 10折CV | 重复5折CV×10次 |
|---|---|---|---|
| 偏差 | 最低 | 中等 | 中等 |
| 方差 | 较高 | 较低 | 最低 |
| 计算开销 | O(N) | O(10) | O(50) |
| 适用样本量 | N < 100 | N > 100 | 所有范围 |
所以我的建议是：不要神话LOOCV。它适合小样本情况，但如果你有100个样本，10折CV的性价比远高于LOOCV——偏差大不了多少，方差更低，时间只有十分之一。
什么时候必须用LOOCV？
除了样本量极小，还有两种场景我建议优先考虑LOOCV：
- 特征排序与筛选：当你需要用递归特征消除（RFE）逐轮剔除特征时，LOOCV得到的模型排序最稳定。因为每次剔除特征后模型变化很小，LOOCV能捕捉到最细微的贡献差异。
- 时间序列滚动验证：某些时间序列任务中，必须保证训练集始终在测试集之前，且每次只留出最后1个时间点做测试——这其实就是LOOCV的变体。
我记得有一次做基因表达谱特征筛选，有50个样本，5万个特征。我用LOOCV配合Lasso，每次训练剔除一个样本后重新拟合模型，最后选出的特征集在独立测试集上表现非常好。但如果换成10折CV，某些折里样本分布不均，选出的特征差异很大。
- LOOCV 的计算成本线性增长，N小才划算
- 样本量小于 100 时，LOOCV 的偏差优势明显
- 样本量大于 1000 时，除非模型训练极快，否则别碰
- LOOCV 方差可能比 K 折 CV 还大，需要重复评估缓解
下面这张图总结了LOOCV在样本量-计算成本坐标系中的位置：
红色曲线代表LOOCV的计算成本随N增长的趋势。绿色区域是小样本天堂，橙色是勉强能接受，红色区域就是劝你赶紧换方法的地方。