3. K折交叉验证原理与实现

这一章我们聊点硬核的东西——K折交叉验证。说白了，这是ADMET预测里评估模型最靠谱的手段之一，没有它，你拿到的泛化性能指标可能就是假的。

我记得刚入行时做过一个Caco-2渗透性模型，训练集R²=0.92，兴奋得不行。结果换了一批外部数据，R²直接掉到0.54，那脸打得我现在都记得。后来才明白，简单的训练/验证集拆分根本不够，必须上交叉验证。

为什么ADMET必须用K折交叉验证？

ADMET数据有几个让人头疼的特点：

• 样本量小——很多实验数据只有几百到几千个分子
• 分布偏斜——毒性、稳定性数据往往严重不平衡
• 噪声大——不同实验室、不同批次的数据误差明显

单次固定拆分很容易出现“运气好分到简单样本”或“运气差分到难样本”的情况。K折就不一样了，它让每个样本都有机会当一次验证集，评估更稳定。

K折交叉验证的数学原理与实现细节

先看形式化定义：

给定数据集 D={xᵢ, yᵢ}_{i=1}^N，K折交叉验证将其随机划分为K个互斥子集 D₁, D₂, ..., D_K，每个子集大小基本相等。循环K次，第j次用D\D_j训练模型，D_j验证，记录评估指标M_j。最终模型性能为：

M_final = (1/K) Σ_{j=1}^K M_j

这个均值是关键。但你想想，如果只报告均值不报告方差，那同样不靠谱。我曾经看到一篇论文说模型AUC=0.91，但没给标准差，结果复现时发现10折中有一折AUC只有0.67。所以无论报告还是内部评审，均值和标准差都要给。

下面是我团队现在用的标准Python实现框架：

from sklearn.model_selection import KFold, cross_val_score
import numpy as np

def admet_cv_evaluation(X, y, model, n_splits=5, scoring='r2'):
    """
    ADMET专用K折交叉验证评估
    """
    kf = KFold(n_splits=n_splits, shuffle=True, random_state=42)
    
    scores = cross_val_score(model, X, y, cv=kf, scoring=scoring)
    
    # 我个人习惯同时返回原始分数方便排查
    return {
        'mean': np.mean(scores),
        'std': np.std(scores),
        'all_scores': scores,
        'fold_ids': list(range(1, n_splits+1))
    }

注意代码里的 shuffle=True，我见过有人忘了开这个，结果数据天然按活性排序，第一折全是高活性，最后一折全是低活性……那评估结果没法看。

K值的实验选择：5、10还是留一？

K值怎么定？我做ADMET这些年总结了一套经验规则：

K折交叉验证在ADMET中的实战避坑指南

这些年我踩过的坑不少，写几个典型的给大家参考：

1. 特征泄露。K折中如果特征工程用到全量数据（比如归一化用的全是全局均值），那每一折其实都看到过验证集的信息。正确的做法是在每一折内单独做特征预处理。
2. 时间序列问题。有些ADMET数据有时间戳，比如公开发表的文献数据逐年累积。这时随机K折不合适，要改用时间序列交叉验证。
3. 重复分子。同一个SMILES结构在不同实验中可能有不同活性值。拆分时必须保证同骨架的分子不跨折，否则结果会虚高。
4. 高度不平衡。比如阳性样本只有5%，随机K折可能导致某一折一个阳性都没有。分层K折可以缓解，但最好还是用分层+多次重复。

# 分层K折示例（保持每折类别比例一致）
from sklearn.model_selection import StratifiedKFold

skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
for fold, (train_idx, val_idx) in enumerate(skf.split(X, y_binary)):
    X_train, X_val = X[train_idx], X[val_idx]
    y_train, y_val = y[train_idx], y[val_idx]
    # 检查每折阳性比例
    pos_ratio = np.mean(y_val)
    print(f"Fold {fold+1}: positive ratio = {pos_ratio:.3f}")

K折交叉验证流程的知识图谱

最后画一张流程图，把K折交叉验证的完整逻辑串起来：