3. 分流验证原理
3.1 分流验证的定义
分流验证（Split Validation）是模型风险验证中的一种核心策略，指将建模样本按照特定规则划分为多个子集，分别用于模型训练、调参、验证和最终评估，从而避免信息泄露、过拟合和验证偏差。在MRM框架下，分流验证不仅是统计方法的选择，更是监管合规的硬性要求——验证结果必须能够独立、无偏地反映模型在未见数据上的表现。
核心目标：确保验证集与训练集在统计分布上保持独立，同时保留对模型行为差异的诊断能力。
| 维度 | 定义要点 | MRM合规意义 |
|---|---|---|
| 独立性 | 验证样本不参与模型参数估计或超参数选择 | 满足监管对验证客观性的最低要求 |
| 代表性 | 分流后的子集应覆盖原始数据的整体分布 | 避免因样本偏差导致模型适用性误判 |
| 可追溯性 | 每次分流操作均需记录种子、比例、分层变量 | 支持审计回溯和模型复现 |
| 稳定性 | 分流策略在时间维度上应保持一致性 | 防止因分流方式变化导致验证结果不可比 |
3.2 分流策略
根据模型类型、数据特征和验证目标，MRM实践中通常采用以下四种分流策略。每种策略对应不同的风险偏好和验证深度。
- 简单随机分流（Simple Random Split）
按固定比例（如70%/30%）随机划分训练集和验证集。适用于数据量充足、分布均匀的场景。缺点是在小样本或类别不平衡时可能产生偏差。 - 分层分流（Stratified Split）
按目标变量或关键风险因子进行分层，确保各子集中类别比例与总体一致。常用于信用评分卡、违约预测等分类模型。 - 时间序列分流（Time-based Split）
按时间顺序划分：早期数据用于训练，后期数据用于验证。适用于宏观经济预测、市场风险模型等时序敏感场景。严禁使用未来数据预测过去。 - 分组分流（Group Split）
按实体ID（如客户ID、合同ID）进行分组，确保同一实体的所有记录落入同一子集。防止数据泄露，常用于客户级模型。
监管提示：对于高风险模型（如IRB资本计量模型），监管机构通常要求至少采用分层分流或时间序列分流，并保留至少一个独立的“留存样本”用于最终验证。
3.3 分流决策树
分流决策树是MRM验证流程中用于自动选择分流策略的规则引擎。它根据数据特征、模型用途和监管要求，逐层判断并输出最优分流方案。决策树通常包含三个层级：数据特征层、模型风险层、验证深度层。
常见错误：直接对所有模型使用默认的70/30随机分流，忽略时间依赖和实体关联，导致验证结果虚高。监管检查中此类问题占比超过40%。
决策树构建步骤
- 第一步：数据特征检查
判断数据是否包含时间戳字段、是否存在实体ID重复、目标变量是否平衡。 - 第二步：模型风险分类
根据模型使用场景（零售/对公、计量/非计量、高频/低频）确定风险等级。 - 第三步：验证深度匹配
高风险模型需采用“分层+时间”双重分流，并预留独立验证集。 - 第四步：输出分流方案
生成包含分流策略、比例、种子、分层变量的完整配置。
决策树应用示例
| 场景 | 数据特征 | 模型风险 | 决策树输出 |
|---|---|---|---|
| 零售信用评分卡 | 无时序、有实体ID、类别不平衡 | 中风险 | 分组分流 + 分层抽样，70/30，种子2024 |
| 市场风险VaR模型 | 有时序、无实体分组 | 高风险 | 时间序列分流 + 分层，预留20%独立验证 |
| 反欺诈规则模型 | 无时序、无实体分组、类别平衡 | 低风险 | 简单随机分流，80/20，种子固定 |
| 对公内部评级模型 | 有时序、有实体ID、类别不平衡 | 高风险 | 时间+分组双重分流，预留30%独立验证 |
实训建议：在代码实现中，建议将决策树封装为函数，输入数据特征和模型风险等级，自动输出分流配置。使用Python的
sklearn.model_selection中的train_test_split、StratifiedKFold、GroupKFold和TimeSeriesSplit分别实现上述策略。
# 分流决策树伪代码示例
def split_decision_tree(data, has_time, has_group, is_high_risk, target_col, group_col=None, time_col=None):
if has_time:
if is_high_risk:
# 时间 + 分层双重分流
return time_series_stratified_split(data, target_col, time_col, test_size=0.2)
else:
# 时间序列分流
return time_series_split(data, time_col, test_size=0.3)
else:
if has_group:
# 分组分流
return group_split(data, group_col, test_size=0.3)
else:
if is_high_risk or imbalanced_check(data, target_col):
# 分层分流
return stratified_split(data, target_col, test_size=0.3)
else:
# 简单随机分流
return random_split(data, test_size=0.2, random_state=42)