4. 偏差校验整体架构：离线校验 vs 实时校验、校验触发机制、告警与回滚流程

样本偏差校验不能仅依赖单一时间点的检测，必须构建覆盖模型全生命周期的分层架构。本章从校验模式、触发机制、告警与回滚三个维度，拆解一套可落地的偏差校验体系。

4.1 离线校验 vs 实时校验：双轨并行策略

离线校验与实时校验在时效性、计算深度、覆盖范围上形成互补。下表对比两种模式的核心差异：

对比维度	离线校验（Batch）	实时校验（Online）
触发频率	每日/每小时固定批次	每次模型推理请求或每N条样本
计算深度	全量特征分布、PSI、KS、分位数	轻量统计量（均值、方差、缺失率）
数据窗口	过去24h或全量历史	滑动窗口（最近1000~5000条）
延迟容忍	分钟~小时级	毫秒~秒级
典型用途	模型版本升级、日终报表、归因分析	线上流量突变检测、特征缺失预警
资源消耗	高（Spark/Flink批处理）	低（内存计算+Redis）

4.2 校验触发机制：三层触发模型

触发机制决定了校验系统何时启动计算。我们采用定时触发 + 事件触发 + 阈值触发三层模型，确保无死角覆盖。

1. 定时触发（Cron）：每日凌晨02:00执行全量离线校验，覆盖所有特征与标签；每小时整点执行轻量滑动窗口校验。
2. 事件触发（Deploy Hook）：模型发布、回滚、特征逻辑变更时，自动触发一次全量+实时联合校验。
3. 阈值触发（Adaptive）：实时校验窗口内PSI > 0.1 或缺失率突变 > 5% 时，立即触发一次深度离线校验。

4.3 告警与回滚流程：分级响应机制

校验结果输出后，系统根据严重程度执行差异化响应。以下为分级告警与回滚策略：

严重等级	校验指标阈值	告警方式	回滚动作
P0（严重）	PSI > 0.25 或 标签分布偏移 > 20%	电话+钉钉/企微@所有人	自动回滚至上一稳定版本
P1（高）	PSI 0.15~0.25 或 特征缺失率 > 10%	即时消息+邮件	半自动回滚（需值班人员确认）
P2（中）	PSI 0.1~0.15 或 均值漂移 > 3σ	邮件+工单	不自动回滚，生成分析报告
P3（低）	PSI < 0.1 但趋势持续上升	日报/周报汇总	仅记录，不触发回滚

4.4 整体架构流程（SVG）

下图展示从样本流入到告警回滚的完整链路：

4.5 回滚流程详细步骤

当触发P0/P1级回滚时，系统按以下步骤执行：

1. 冻结当前版本：将当前模型服务标记为“异常”，停止新流量接入，保留当前流量完成已发起的推理。
2. 加载回滚版本：从模型仓库加载上一稳定版本（或指定版本），预热特征工程与模型参数。
3. 流量切换：将新请求路由至回滚版本，采用灰度切换（先10%流量验证5分钟，无异常后全量切换）。
4. 现场快照：将异常版本的样本、特征、模型参数、校验指标打包存入HDFS，生成唯一回滚事件ID。
5. 事后校验：回滚完成后自动触发一次全量离线校验，确认回滚版本无偏差。
6. 通知与工单：发送回滚完成通知，自动创建根因分析工单。

4.6 告警与回滚状态机（SVG）

下图展示从校验结果到回滚完成的状态流转：

4.7 架构落地检查清单

在实施偏差校验架构时，建议逐项确认以下要点：

• 双轨校验均已部署：离线校验（Spark/Flink）与实时校验（Redis+内存计算）同时运行。
• 三层触发机制配置完整：Cron表达式、Deploy Hook、自适应阈值均已生效。
• 告警分级与响应人配置：P0/P1/P2/P3对应不同通知渠道与值班人员。
• 回滚版本兼容性测试：每次模型发布前，自动验证回滚版本的特征兼容性。
• 现场快照存储：回滚时自动保存异常版本快照至HDFS/OSS，保留至少30天。
• 冷却期与防抖：阈值触发设置5分钟冷却期，避免校验风暴。