4. 交叉验证基础

在时间序列建模中，模型评估比普通回归或分类任务更棘手。原因在于数据带有时间顺序，若像随机抽样那样把未来数据混入训练集，模型就会“偷看答案”，评估结果虚高。交叉验证正是为了解决“如何用有限数据可靠估计模型泛化能力”这一问题而存在。本节从基本思想出发，逐步落到划分方式、偏差方差权衡与评估指标，为后续时间序列专用交叉验证打下基础。

一、交叉验证的基本思想

交叉验证的核心思想是：把同一份数据反复切分成“训练部分”和“验证部分”，用多轮验证结果的平均表现来估计模型在未见数据上的能力。单次划分容易受偶然性影响——恰好分到容易的验证集，模型看起来很好；恰好分到困难的验证集，模型又显得很差。多轮切分能平滑这种随机波动。

对时间序列而言，交叉验证还承担一个额外职责：检验模型在不同时间窗口上的稳定性。一个模型在某一时段表现优异，但在另一时段崩溃，说明它可能过拟合了特定市场状态或季节性模式。交叉验证让我们看到这种不稳定性。

二、训练集与验证集的划分方式

普通交叉验证常用 K 折法：将数据随机分成 K 份，轮流用其中一份做验证、其余做训练。但时间序列不能随机打乱，因为这会破坏时间依赖结构。时间序列场景下，划分必须遵循“过去训练、未来验证”的原则。

• 留出法（Hold-out）：按时间顺序切分，前 70% 训练、后 30% 验证。简单快速，但只评估了一个时间段。
• 滚动窗口交叉验证：训练窗口固定长度，每次向前滑动一步，验证紧随训练之后。适合概念漂移明显的场景。
• 扩展窗口交叉验证：训练集从起点不断累积扩大，验证集始终是训练集之后的一段。适合数据量有限、希望利用全部历史信息的场景。
• 分组时间交叉验证：按业务周期（如周、月、季度）分组切分，避免同一周期内信息泄漏。

下面是一个扩展窗口交叉验证的切分示意代码，帮助理解训练集与验证集的边界关系：

import numpy as np

def expanding_window_split(n_samples, n_splits=5, min_train=100):
    """生成扩展窗口交叉验证的索引对"""
    fold_size = (n_samples - min_train) // n_splits
    for i in range(n_splits):
        train_end = min_train + i * fold_size
        val_end = train_end + fold_size
        train_idx = np.arange(0, train_end)
        val_idx = np.arange(train_end, min(val_end, n_samples))
        yield train_idx, val_idx

# 示例：200个样本，5折扩展窗口
for fold, (tr, va) in enumerate(expanding_window_split(200)):
    print(f"Fold {fold}: train={len(tr)}, val={len(va)}, "
          f"train_end={tr[-1]}, val_start={va[0]}")

运行后可以看到，每一折的训练集末尾始终早于验证集起点，时间顺序没有被破坏。这是时间序列交叉验证与普通交叉验证最本质的区别。

三、偏差方差权衡与模型评估指标

交叉验证结果之所以重要，是因为它同时暴露了模型的偏差与方差。偏差衡量模型预测值与真实值的系统性偏离，方差衡量模型在不同训练集上的波动程度。两者往往此消彼长：模型越复杂，偏差越低但方差越高；模型越简单，方差越低但偏差越高。

在时间序列中，这种权衡还叠加了时间维度。一个在长期趋势上拟合很好的模型，可能在短期波动上方差很大；一个对短期噪声不敏感的模型，可能对趋势变化反应迟钝。交叉验证的多折结果，恰好能让我们观察这种权衡：如果各折误差差异很大，说明方差高；如果各折误差都偏高且接近，说明偏差高。

四、常见误区与复盘

在实际项目中，交叉验证最常见的误区有三类。第一类是数据泄漏：在划分前做了全局标准化、全局缺失值填充或全局特征工程，导致验证集信息渗入训练集。正确做法是把所有预处理步骤放进训练集内部完成，再应用到验证集。

第二类是用随机 K 折处理时间序列。随机打乱后，模型可能用“未来”预测“过去”，评估结果严重虚高。必须使用滚动或扩展窗口，确保训练集时间始终早于验证集。

第三类是只看平均误差，不看折间波动。如果五折 RMSE 分别是 0.12、0.11、0.45、0.13、0.12，平均值看似不错，但第三折的异常高误差说明模型在某个时间段失效。此时应回到数据，检查该时段是否有突变、缺失或政策事件。