3. Champion Challenger 框架设计
Champion Challenger 框架是金融特征回放系统的核心决策引擎。它通过“冠军模型”与“挑战者模型”的对比验证，确保特征回放引入的新特征或新逻辑不会对模型性能产生负面影响，同时为模型持续迭代提供量化依据。本节将详细阐述框架的整体架构、核心定义以及特征回放的关键流程。
3.1 框架整体架构设计
Champion Challenger 框架采用分层解耦设计，自上而下分为三层：策略管理层、回放执行层与存储对齐层。各层职责明确，通过标准接口交互，便于扩展与维护。
架构设计原则：
- 可插拔：挑战者模型可动态注册与下线，不影响冠军模型在线服务。
- 可回溯：所有特征版本与模型版本均带时间戳，支持任意时间点回放。
- 可对比：冠军与挑战者的评估指标在同一时间窗口内对齐，消除时间漂移干扰。
3.2 冠军模型与挑战者模型的定义
在金融风控场景中，冠军模型与挑战者模型具有明确的角色定位与生命周期管理规则。
| 维度 | 冠军模型 (Champion) | 挑战者模型 (Challenger) |
|---|---|---|
| 定义 | 当前线上生产环境正在服务的模型 | 待验证的新模型或特征版本 |
| 特征版本 | 固定使用已上线特征集 V1.0 | 使用新特征集 V2.0（含回放特征） |
| 数据来源 | 实时在线请求 + 离线快照 | 离线特征回放数据 |
| 评估指标 | KS、AUC、PSI、坏账率 | 与冠军模型完全一致的指标集 |
| 上线条件 | 已通过灰度验证 | 在回放测试中全面优于冠军模型 |
| 回退机制 | 自动保留最近 3 个冠军版本 | 验证失败后自动丢弃 |
实战要点：冠军模型并非一成不变。当挑战者模型在连续 7 天的回放测试中，核心指标（如 AUC 提升 ≥ 0.5%、PSI ≤ 0.1）均优于冠军模型时，触发冠军切换流程。切换时需保留旧冠军模型至少 30 天，以备紧急回退。
3.3 特征回放的核心流程
特征回放的核心流程围绕“存储 → 加载 → 对齐”三个环节展开，确保挑战者模型能够使用与冠军模型相同时间窗口的历史数据进行公平对比。
3.3.1 存储：特征版本化与快照管理
特征存储采用时间戳 + 版本号双键设计，支持精确到秒级的特征回溯。
# 特征存储 Schema 示例（HBase）
表名: feature_replay
RowKey: user_id + timestamp + feature_version
列族: raw_features
- income: 50000
- age: 35
- credit_score: 720
列族: meta
- version: v2.0
- source: offline_batch
- create_time: 2025-03-15 10:30:00
存储避坑：特征快照必须包含完整的元数据（版本号、生成时间、数据源），否则在回放对齐时无法判断特征是否属于同一批次。建议使用 WAL（Write-Ahead Log）保证写入一致性，避免回放时读到不完整数据。
3.3.2 加载：批量特征回放引擎
加载阶段负责从存储层批量读取指定时间窗口的特征数据，并组装成模型推理所需的特征矩阵。
- 时间窗口解析：根据回放配置，确定起始时间与结束时间（如 2025-03-01 ~ 2025-03-14）。
- 特征版本匹配：冠军模型使用 V1.0 特征，挑战者模型使用 V2.0 特征，两者在相同时间窗口内并行加载。
- 特征拼接：将原始特征与衍生特征拼接为宽表，确保冠军与挑战者的特征维度一致（缺失值处理策略相同）。
- 批量推理：将特征矩阵送入模型引擎进行批量推理，输出预测分数。
3.3.3 对齐：时间窗口与样本对齐
对齐是特征回放的核心难点，直接决定对比结果的可信度。对齐分为三个层面：
| 对齐层面 | 说明 | 实现方式 |
|---|---|---|
| 时间窗口对齐 | 冠军与挑战者使用完全相同的日历时间范围 | 统一使用回放配置中的 start_time / end_time |
| 样本对齐 | 两条模型推理的样本集合必须完全一致 | 基于 user_id + 时间戳做 INNER JOIN |
| 特征对齐 | 同一特征在不同版本中的业务含义与计算口径一致 | 特征 Schema 校验 + 口径文档化 |
对齐失败处理策略：
- 样本量不一致：检查冠军与挑战者的数据源是否一致，排除因特征缺失导致的样本丢弃。
- 特征缺失率异常：对比特征生成日志，确认 V2.0 特征是否在回放时间窗口内已全部就绪。
- 时间窗口空洞：检查存储层是否存在数据延迟或分区丢失，必要时触发数据补录任务。
通过上述存储、加载、对齐三个核心流程，Champion Challenger 框架能够为金融风控模型提供公平、可复现的特征回放验证环境，确保每一次模型迭代都有据可依。