训练集切分原则：时间序列切分 vs 随机切分、避免未来信息泄露、样本外验证的重要性

在风险定价模型中，训练集与测试集的切分方式直接影响模型在真实业务场景中的泛化能力。与图像分类或自然语言处理任务不同，信贷数据天然带有时间顺序和样本相关性，错误的切分策略会导致模型“偷看未来”，在离线评估中表现优异，上线后却迅速失效。本节从三个核心维度展开：切分方法对比、未来信息泄露的典型场景、样本外验证的落地标准。

2.1 时间序列切分 vs 随机切分

风险定价数据通常按申请日期、放款日期或观察期结束日期排序。下表对比两种切分方式在金融场景下的适用性：

2.2 避免未来信息泄露

未来信息泄露是风险定价建模中最隐蔽、破坏性最强的错误。即使使用时间序列切分，特征构造阶段仍可能引入未来信息。以下 SVG 图展示了三种典型泄露路径：

2.3 样本外验证的重要性

样本外验证（Out-of-Time Validation）是风险定价模型上线前的最后一道防线。与随机切分的交叉验证不同，样本外验证要求测试集在时间上完全独立于训练集。以下 SVG 图对比了三种验证策略的效果：

2.4 LightGBM 实战代码示例

以下代码展示如何在 LightGBM 中实现时间序列切分，并避免未来信息泄露：

import lightgbm as lgb
import pandas as pd
from sklearn.metrics import roc_auc_score

# ===== 1. 按时间切分 =====
# 假设数据包含 'loan_date' 列
train = df[df['loan_date'] < '2023-10-01'].copy()
valid = df[(df['loan_date'] >= '2023-10-01') & (df['loan_date'] < '2023-12-01')].copy()
test  = df[df['loan_date'] >= '2023-12-01'].copy()

# ===== 2. 特征构造：严格使用历史窗口 =====
# 错误做法：使用全量数据计算特征
# df['avg_overdue_rate'] = df.groupby('city')['is_overdue'].transform('mean')

# 正确做法：对每个样本，只使用其时间戳之前的数据
def compute_historical_features(df, time_col, group_col, target_col, window_days=180):
    """为每个样本计算历史窗口内的统计特征"""
    df_sorted = df.sort_values(time_col)
    features = []
    for idx, row in df_sorted.iterrows():
        cutoff = row[time_col] - pd.Timedelta(days=window_days)
        hist = df_sorted[(df_sorted[time_col] >= cutoff) &
                         (df_sorted[time_col] < row[time_col]) &
                         (df_sorted[group_col] == row[group_col])]
        if len(hist) > 0:
            feat = {
                'hist_count': len(hist),
                'hist_overdue_rate': hist[target_col].mean(),
                'hist_overdue_std': hist[target_col].std()
            }
        else:
            feat = {'hist_count': 0, 'hist_overdue_rate': -1, 'hist_overdue_std': -1}
        features.append(feat)
    return pd.DataFrame(features, index=df_sorted.index)

# ===== 3. 训练 LightGBM =====
feature_cols = ['hist_count', 'hist_overdue_rate', 'hist_overdue_std',
                'income', 'age', 'loan_amount', 'credit_score']

lgb_train = lgb.Dataset(train[feature_cols], label=train['is_default'])
lgb_valid = lgb.Dataset(valid[feature_cols], label=valid['is_default'], reference=lgb_train)

params = {
    'objective': 'binary',
    'metric': 'auc',
    'boosting_type': 'gbdt',
    'num_leaves': 31,
    'learning_rate': 0.05,
    'feature_fraction': 0.8,
    'bagging_fraction': 0.8,
    'bagging_freq': 5,
    'verbose': -1,
    'seed': 42
}

model = lgb.train(
    params,
    lgb_train,
    valid_sets=[lgb_valid],
    num_boost_round=1000,
    callbacks=[lgb.early_stopping(stopping_rounds=50),
               lgb.log_evaluation(100)]
)

# ===== 4. 样本外验证 =====
y_pred_test = model.predict(test[feature_cols])
test_auc = roc_auc_score(test['is_default'], y_pred_test)
print(f"样本外测试集 AUC: {test_auc:.4f}")

2.5 切分策略决策清单

在实际项目中，可参考以下清单快速确定切分策略：

• 数据是否带有明确时间戳？ → 是：使用时间序列切分；否：检查是否可以通过业务逻辑推断时间顺序
• 特征是否包含未来信息？ → 逐特征审查：统计类特征是否基于历史窗口计算；标签是否与特征时间对齐
• 验证集是否独立于训练集？ → 验证集时间必须严格晚于训练集；不允许任何样本重叠
• 是否只计算一次测试集指标？ → 测试集仅用于最终报告，不参与调参或特征选择
• 是否检查了时间漂移？ → 对比训练集和测试集的特征分布（PSI），若 PSI > 0.2 需考虑模型衰减