1. 模型稳定性概述
1.1 定义模型稳定性
模型稳定性（Model Stability）是指一个已部署的机器学习模型在不同时间窗口、不同数据批次或不同业务环境下，其预测行为与输出分布保持一致的特性。对于 XGBoost 模型而言，稳定性体现在以下三个核心维度：
- 预测分布稳定性：模型输出的概率分数或类别比例不随数据采集时间、渠道来源的波动而发生剧烈偏移。
- 特征重要性稳定性：模型依赖的关键特征及其排序在连续监控周期内不发生结构性变化。
- 决策边界稳定性：模型对相同或相似样本的判定结果在时间序列上保持可复现。
关键指标：业界通常使用 PSI（Population Stability Index，群体稳定性指标） 量化模型输出分布的偏移程度。PSI < 0.1 表示稳定性良好，0.1 ≤ PSI < 0.25 需关注，PSI ≥ 0.25 表示显著偏移。
1.2 为什么需要巡检
模型在离线训练阶段表现优异，并不代表上线后能持续稳定运行。XGBoost 模型作为梯度提升决策树的集成模型，对特征分布变化尤为敏感。以下表格总结了需要定期巡检的核心原因：
| 风险类别 | 具体表现 | 对业务的影响 |
|---|---|---|
| 数据分布漂移 | 用户行为、市场环境、数据采集方式变化导致特征分布偏移 | 预测准确率下降，风控模型漏过坏样本或误杀好样本 |
| 特征失效 | 上游特征工程变更、特征源不可用或特征计算逻辑错误 | 模型退化为随机猜测，业务决策失去依据 |
| 概念漂移 | 目标变量与特征之间的真实关系随时间改变 | 模型逻辑过时，无法捕捉新规律 |
| 模型退化 | 长期未更新导致模型对当前数据拟合能力持续衰减 | 业务指标（如转化率、坏账率）逐步恶化 |
| 合规与审计要求 | 监管机构要求模型行为可解释、可追溯、可复现 | 无法通过审计可能导致业务下线或罚款 |
实践建议：建议对生产环境中的 XGBoost 模型设置每日或每周的自动化巡检任务，覆盖预测分布、特征分布、模型性能三个层面，并配置告警阈值。
1.3 稳定性与准确性的关系
模型稳定性与准确性并非简单的正相关或负相关，而是需要平衡取舍的两个维度。以下 SVG 图展示了二者在模型生命周期中的动态关系：
从图中可以归纳出三个关键阶段：
- 蜜月期：模型刚上线，准确性与稳定性均处于高位，此时巡检频率可适当降低。
- 稳定期：准确性开始缓慢下降，但稳定性仍可接受，需要建立基线并启动定期巡检。
- 退化期：稳定性指标（如 PSI）突破阈值，准确性加速下滑，必须触发模型更新或回滚流程。
常见误区：不要因为模型在测试集上 AUC 很高就忽视稳定性巡检。实际生产中，一个 PSI 超过 0.3 的模型即使 AUC 仍维持在 0.85 以上，其排序能力也可能已经失真，导致业务决策出现系统性偏差。
1.4 稳定性巡检的核心框架
以下 SVG 图展示了 XGBoost 模型稳定性巡检的完整闭环流程，涵盖从数据采集到决策响应的关键环节：
该闭环框架强调：稳定性巡检不是一次性动作，而是持续监控 → 告警 → 分析 → 修复 → 归档的循环过程。XGBoost 模型因其树模型特性，在根因分析阶段可以借助特征重要性排序和 SHAP 值快速定位导致分布偏移的关键特征。
核心结论：模型稳定性是 XGBoost 模型在生产环境中长期创造价值的基石。没有稳定性保障，准确性再高也只是离线实验中的虚假繁荣。从本章开始，后续课程将逐一拆解每个巡检环节的具体实现方法与工具链。