模型验证异常波动复盘从入门到精通 - 第2节
波动检测基础：统计过程控制（SPC）原理
统计过程控制（Statistical Process Control, SPC）是波动检测的基石。在模型验证场景中，SPC 帮助我们区分模型性能波动是源于正常随机变异（受控状态）还是异常原因（失控状态）。其核心思想是：通过控制图监控关键指标（如 KS、PSI、AUC），一旦发现数据点超出预设的统计界限，立即触发复盘调查。
核心概念：受控状态下的波动服从独立同分布（i.i.d.），通常近似正态分布；失控状态则意味着分布发生了结构性偏移或出现了特殊事件。
均值-标准差控制图（X̄-S 图）
均值-标准差控制图适用于子组样本量较大（n ≥ 10）的场景，是模型监控中最常用的控制图组合。它由两张图构成：
- 均值图（X̄ 图）：监控过程中心（平均水平）的偏移。
- 标准差图（S 图）：监控过程离散程度（波动幅度）的变化。
| 参数 | 计算公式 | 含义 |
|---|---|---|
| 中心线 (CL) | CL = X̄̄ = (∑X̄ᵢ) / k | 所有子组均值的平均值 |
| 上控制限 (UCL) | UCL = X̄̄ + A₃ · S̄ | 均值波动的上限阈值 |
| 下控制限 (LCL) | LCL = X̄̄ - A₃ · S̄ | 均值波动的下限阈值 |
| 标准差中心线 | S̄ = (∑Sᵢ) / k | 所有子组标准差的平均值 |
其中，A₃ 是与子组样本量 n 相关的常数，可从 SPC 系数表中查得。控制限通常设定为 ±3σ，对应约 99.73% 的置信区间。
移动极差图（I-MR 图）
当数据为单个观测值（子组大小 n=1）时，例如每日模型 AUC 值，使用移动极差图更为合适。它同样由两张图组成：
- 单值图（I 图）：直接绘制每个观测值。
- 移动极差图（MR 图）：绘制相邻两个观测值之差的绝对值。
| 参数 | 计算公式 | 含义 |
|---|---|---|
| 移动极差 | MRᵢ = |Xᵢ - Xᵢ₋₁| | 相邻点之间的波动幅度 |
| MR 中心线 | MR̄ = (∑MRᵢ) / (k-1) | 平均移动极差 |
| I 图控制限 | UCL = X̄ + 2.66 · MR̄ LCL = X̄ - 2.66 · MR̄ |
单值图的 ±3σ 界限 |
| MR 图控制限 | UCL = D₄ · MR̄ LCL = D₃ · MR̄ |
移动极差图的控制界限 |
实践建议：在模型验证中，如果监控指标（如 PSI）天然为正态分布，优先使用 X̄-S 图；如果数据采集频率高且每个时间点只有一个值（如每日模型拒绝率），则使用 I-MR 图。
异常点判定规则：Western Electric 规则
Western Electric 规则（简称 WE 规则）是 SPC 领域最经典的异常判定准则，由贝尔实验室在 1956 年提出。它通过8 条具体规则识别控制图中的异常模式，显著降低误报率（Type I Error）的同时保持较高的检测灵敏度。
注意：WE 规则假设数据服从正态分布且观测值独立。在模型验证中，如果监控指标存在明显的自相关性（如时间序列趋势），应先进行差分或 ARIMA 建模，再应用控制图。
WE 规则详解
以下表格列出了最常用的 8 条规则，按检测灵敏度从高到低排列：
| 规则编号 | 规则描述 | 检测目标 | 误报概率 |
|---|---|---|---|
| 规则 1 | 1 个点落在 ±3σ 控制限之外 | 极端异常值 | 0.27% |
| 规则 2 | 连续 3 个点中有 2 个落在 ±2σ 与 ±3σ 之间（同一侧） | 过程偏移 | 0.30% |
| 规则 3 | 连续 5 个点中有 4 个落在 ±1σ 与 ±3σ 之间（同一侧） | 持续偏移 | 0.53% |
| 规则 4 | 连续 8 个点落在中心线同一侧（不考虑 σ 区域） | 系统性偏差 | 0.78% |
| 规则 5 | 连续 6 个点持续上升或下降（单调趋势） | 趋势性漂移 | 1.56% |
| 规则 6 | 连续 14 个点交替上下（振荡模式） | 过度调整 | 0.12% |
| 规则 7 | 连续 15 个点落在 ±1σ 以内（两侧） | 方差减小（异常受控） | 0.33% |
| 规则 8 | 连续 8 个点落在 ±1σ 以外（两侧） | 混合分布 | 0.20% |
规则应用优先级与组合策略
在实际模型验证中，并非所有规则都需要同时启用。建议按以下优先级分层实施：
- 第一层（必选）：规则 1（超限）+ 规则 4（连续同侧）+ 规则 5（趋势）。覆盖 90% 以上的异常场景。
- 第二层（推荐）：规则 2（2/3 在 2σ 外）+ 规则 3（4/5 在 1σ 外）。提升对小偏移的检测能力。
- 第三层（可选）：规则 6（振荡）+ 规则 7（方差缩小）+ 规则 8（混合）。用于高级复盘分析。
经验法则：同时启用全部 8 条规则时，整体误报率约为 1.5%~2.0%。对于高频监控（如每日模型性能），建议只启用第一层规则，将误报率控制在 0.5% 以下，避免过度告警导致复盘疲劳。
控制图在模型验证中的实施步骤
将 SPC 控制图应用于模型验证异常波动复盘，建议遵循以下 5 个步骤：
| 步骤 | 操作内容 | 关键输出 |
|---|---|---|
| 1. 指标选择 | 确定监控指标（如 KS、PSI、AUC、Gini、Lift） | 监控指标清单 |
| 2. 基线建立 | 收集至少 20~30 个历史数据点，计算均值与标准差 | 控制限参数 |
| 3. 控制图绘制 | 根据子组大小选择 X̄-S 图或 I-MR 图 | 控制图可视化 |
| 4. 规则应用 | 启用 WE 规则（建议第一层 + 第二层） | 异常点标记 |
| 5. 复盘触发 | 对标记的异常点进行根因分析 | 复盘报告 |
关键提醒：控制限不是一成不变的。当模型发生重大迭代（如重新训练、特征工程变更）后，应重新计算控制限。建议每季度或每次模型版本更新后，对控制限进行一次校准。