4. 留一法交叉验证（LOO-CV）归纳总结

留一法（Leave-One-Out，简称LOO）是交叉验证家族里最极致的一位。说白了，就是把数据集里的每个样本单独拎出来当测试集，剩下的全都拿去训练。如果你的数据集有N个样本，那就得跑N次模型训练和预测。

我第一次用LOO是在刚入行做毒性预测的时候。当时我领导跟我说：“你的数据集才几十个阳性样本，不用LOO没法说服审稿人。”我咬咬牙跑了几天，结果确实比随机拆分靠谱得多。从那以后，我对LOO就有了一种又爱又恨的感情。

4.1 LOO-CV的运作方式

LOO-CV的执行流程非常直观，我简单梳理一下：

  1. 从完整数据集中取出一个样本作为验证集
  2. 用剩下的N-1个样本训练模型
  3. 用训练好的模型对那1个样本做预测
  4. 记录预测值与真实值的差异
  5. 把那个样本放回去，换下一个样本，重复步骤1-4
  6. 所有N个样本都轮过一遍后，计算整体误差指标

下面这张图把这个循环画清楚了，你一看就能明白：

留一法交叉验证流程图 留一法交叉验证（LOO-CV）执行流程 完整数据集 (N 个样本) 循环 i = 1 → N 取出样本 i 作为测试集 剩余 N-1 个样本训练模型 预测样本 i ，记录误差 i < N ? 继续循环 循环结束，N 次预测完成 汇总误差，计算评价指标 ⚠ 注意 每次只改变一个样本，模型 几乎完全一样，结果高度相关

4.2 LOO-CV与K-Fold的对比

很多新人喜欢把LOO和K-Fold放在一起比较。我个人觉得，它们根本就不是一个量级的东西。K-Fold是你选择分割次数，LOO是数据集本身决定了运行次数。为了让你一眼看明白，我列了个表：

对比维度 K-Fold（K=10） LOO-CV（N=500）
循环次数 10 次 500 次
每次训练集大小 10% 作为测试集 N-1 个样本（占99.8%）
计算开销 低到中等 极高（每轮都得重训）
偏差 中等（训练集略小于全体） 几乎无偏（训练集接近全体）
方差 较低（多轮平均） 低但结果间高度相关
适用场景 中等数据集，快速评估 小样本、高稳定性要求

关键点：LOO-CV的单次训练集只比完整数据集少一个样本，所以模型几乎不会受“数据量减少”的影响。这是在模型训练阶段最接近“真实模型”的评估方式。

4.3 LOO-CV的优缺点

优点，我想重点讲三点：

  • 无偏估计性最好。 每个样本都能被模型“看到”几乎完整的数据分布。你想想看，在ADMET预测里，如果一个化合物因为数据太少被误判，LOO能最大程度避免这种悲剧。
  • 结果确定性强。 不像K-Fold你每次随机分割得到不同结果，LOO对同一份数据集只会产出一套结果。这在复现实验时特别重要，审稿人问你“为什么换了个随机种子结果变了”，你用LOO就没这个烦恼。
  • 特别适合小样本。 我在做肝毒性预测时就深有体会。公开数据集里阳性样本常常只有20-30个，K-Fold在这时候根本不够用，一折里可能连一个阳性都没有。LOO至少能让模型每次都见到绝大多数阳性样本。

缺点，也不能回避：

  • 计算开销大到让人崩溃。 如果数据集有5000个分子，每个分子用随机森林要跑30秒，那总时间就是5000×30秒≈41小时。我第一次用LOO跑一个6000分子的数据集，等结果出来茶都凉了。
  • 测试集之间高度相关。 每次只换一个样本，意味着N次实验的模型几乎一模一样。这就导致你算出来的误差不能直接拿来做统计推断，统计检验的自由度其实被严重高估了。
  • 不适合调参。 如果你把LOO用在网格搜索里，那训练次数光是想想就头皮发麻。我在一个项目里试过用LOO调XGBoost的超参，跑了整整一个周末，最后发现和默认参数差别不大……从那以后我再也不这么干了。

避坑指南：我曾经遇到过一个坑——数据集里有重复或极其相似的分子。LOO对这种“伪独立”样本特别敏感，相似结构的分子会被同时分到训练集和测试集，导致结果看起来异常好，但实际应用时泛化能力很差。在使用LOO之前，一定要做去重和相似性过滤。

4.4 什么时候该用LOO-CV

根据我这些年踩过的坑，我总结了下面几条“铁律”，你可以直接拿来当参考：

  • 当你的数据集样本数 小于100 时，优先考虑LOO。这时候K-Fold的方差太大，分层也救不了。
  • 当你的模型训练速度很快时（比如线性模型、轻量级随机森林），LOO是可接受的。我通常用一个简单的规则：如果单次训练超过10秒，我就会犹豫要不要用LOO。
  • 你在做 最终模型评估 而非调参时。记住：LOO是用来评估的，不是用来“选”模型的。如果你用它来选特征或调超参，很容易过拟合到整个数据集上。
  • 在发表论文或做监管提交时，LOO往往被视为最严谨的内验证方法。FDA的某些指南里也明确推荐小样本情况下使用LOO。

我的小技巧：如果你数据集有500-1000个样本，又想享受LOO的低偏差好处，可以试试LOO的变体——留一折交叉验证（Leave-One-Group-Out）。比如按骨架聚类后，每次留出一类。这样既降低了计算量，又保持了评估的严谨性。

4.5 LOO-CV的代码实现片段

光说不练假把式。下面我给出一个Python伪代码框架，展示如何在ADMET场景里跑一个简单的LOO-CV。注意，这只是一个最小实现，实际使用时你需要加上数据标准化、特征筛选等步骤。

import numpy as np
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error

def loo_cv_evaluate(X, y, model):
    n = X.shape[0]
    predictions = np.zeros(n)
    
    for i in range(n):
        # 分离第i个样本作为测试集
        X_train = np.delete(X, i, axis=0)
        y_train = np.delete(y, i, axis=0)
        X_test = X[i].reshape(1, -1)
        
        # 训练模型（这里以随机森林为例）
        model_clone = model.__class__(**model.get_params())
        model_clone.fit(X_train, y_train)
        
        # 预测并记录
        predictions[i] = model_clone.predict(X_test)[0]
        
        if (i+1) % 100 == 0:
            print(f"已完成 {i+1}/{n} 次迭代")
    
    # 计算整体误差
    mse = mean_squared_error(y, predictions)
    rmse = np.sqrt(mse)
    print(f"LOO-CV 结果: RMSE = {rmse:.4f}")
    
    return predictions, rmse

# 使用示例
# rf_model = RandomForestRegressor(n_estimators=100, random_state=42)
# preds, rmse = loo_cv_evaluate(X_admet, y_admet, rf_model)

这个代码里有几个点我得提醒你注意：

  • 每次循环里我都新建了一个模型实例（model_clone），而不是用原来的模型去重新fit。为什么不直接复用？因为sklearn的fit是增量训练的，你不重建新实例的话，上一次的模型状态会影响下一次结果，这就不叫交叉验证了。
  • 我在每100次迭代打印一次进度。这是调试大小时的好习惯，不然你就只能盯着黑屏瞎等。
  • 如果要用于分类任务（比如CYP抑制/非抑制），把回归指标换成准确率或AUC即可。

4.6 本章小结

LOO-CV是ADMET预测工具箱里的一把“精密手术刀”。它锋利、无偏，但也很费时。在小样本场景下，它的优势无可替代；在大数据集下，它可能让你等到怀疑人生。

我个人在项目中用LOO最多的是两个地方：一是肝毒性二分类模型（样本量不到100），二是水溶性回归模型（也才200个化合物）。每次跑完我都觉得心里踏实不少，毕竟每个样本都实实在在被评估过了。

记住我之前说的那个坑——使用前一定要检查样本的独立性。去重、去相似、检查时间戳，一个都不能少。LOO给你的是“精确”而不是“虚假的精确”，别让重复样本毁了你的评估可信度。

← 上一章 📖 返回目录 下一章 →