可解释AI与PSI结合的模型监控教程 - 第1节
1.1 什么是模型监控
模型监控（Model Monitoring）是指在机器学习模型部署到生产环境后，持续跟踪模型输入数据、预测输出以及业务效果的过程。与传统的软件监控不同，模型监控不仅关注系统可用性和延迟，更关注模型行为是否随时间发生退化。
核心监控对象： 数据分布漂移、特征稳定性、预测置信度、业务指标变化。
生产环境中的模型会面临数据分布变化、环境迁移、对抗攻击等挑战，导致模型预测能力下降。模型监控就是为这些风险提供早期预警机制。
模型监控的三大维度
| 维度 | 监控内容 | 典型指标 |
|---|---|---|
| 数据质量 | 输入特征完整性、缺失率、异常值 | 缺失比例、特征范围、数据类型校验 |
| 模型性能 | 预测准确率、AUC、F1 等离线指标 | 准确率衰减、混淆矩阵变化 |
| 业务效果 | 转化率、点击率、用户满意度 | 业务 KPI 趋势、ROI 变化 |
1.2 为什么需要模型监控
模型从开发到部署并非终点，而是持续运营的起点。以下三类场景直接说明了模型监控的必要性：
- 数据漂移（Data Drift）： 用户行为、市场环境、季节因素导致训练数据与生产数据分布不一致，模型预测失效。
- 概念漂移（Concept Drift）： 输入与输出的映射关系发生变化，例如风控模型在疫情前后对同一特征的判断逻辑失效。
- 合规与审计需求： 金融、医疗等监管行业要求模型决策可追溯、可解释，监控日志是审计的基础。
常见误区： 很多团队只在模型上线时做一次性能评估，之后便不再关注。实际上，模型退化往往在数周或数月内缓慢发生，等到业务指标明显下降时，已经造成了不可逆的损失。
1.3 可解释AI（XAI）与PSI的结合价值
传统的模型监控主要依赖统计指标（如 PSI、KS、AUC），但这些指标只能告诉你“模型出了问题”，却无法告诉你“为什么出问题”。可解释AI（XAI）的引入，为模型监控提供了诊断能力。
PSI（群体稳定性指标）简介
PSI 是衡量两个样本群体之间分布差异的常用指标，公式如下：
PSI = Σ (P_i - Q_i) * ln(P_i / Q_i)其中 P_i 为实际分布在第 i 个分箱中的比例，Q_i 为期望分布（通常为训练集）在第 i 个分箱中的比例。PSI 值越大，说明分布偏移越严重。
XAI 与 PSI 的互补关系
| 维度 | PSI 监控 | XAI 监控 |
|---|---|---|
| 检测能力 | 发现分布漂移 | 解释漂移原因 |
| 输出形式 | 单一数值 | 特征重要性、SHAP 值、局部解释 |
| 可操作性 | 触发告警 | 定位问题特征 |
| 适用场景 | 全局稳定性 | 局部异常诊断 |
将 XAI 与 PSI 结合，可以构建一个“检测-诊断-行动”的闭环监控体系：PSI 负责全局告警，XAI 负责定位具体特征和样本的异常原因。
实际应用场景示例
以信贷风控模型为例，当 PSI 监控发现模型评分分布发生偏移时，传统方法只能触发告警，但无法定位原因。引入 XAI 后，可以进一步分析：
- 计算每个特征的 SHAP 值变化，找出贡献度异常的特征。
- 对比训练集与生产集的特征分布，发现“收入”字段的缺失率从 2% 上升至 15%。
- 定位到数据采集接口变更导致收入字段大量缺失，从而快速修复数据管道。
最佳实践： 建议将 PSI 监控设置为分钟级或小时级高频检测，XAI 诊断作为 PSI 触发后的按需分析，避免计算资源浪费。
1.4 本教程的学习路径
本教程将按照以下结构逐步深入：
- 基础篇： PSI 计算原理、XAI 核心方法（SHAP、LIME、特征重要性）。
- 实战篇： 构建 PSI 监控管道、集成 XAI 诊断模块、搭建可视化仪表盘。
- 进阶篇： 多模型对比监控、异常自动归因、模型治理与合规。
通过本教程，你将掌握一套可落地的模型监控方案，能够从“模型黑盒”走向“可解释、可监控、可治理”的生产运营体系。