2. 基础知识

在模型上线之后，真正决定其业务价值的并不是训练时的准确率，而是它在时间推移中能否持续保持稳定、可解释、可控制。模型监控与漂移控制的有效性审计，正是围绕这一目标展开。理解本节的基础术语，是后续设计审计指标、搭建告警链路和判断模型是否需要重训的前提。

一、核心术语与原理

模型监控是指对已部署模型在运行过程中的输入、输出、性能、资源消耗和业务影响进行持续观测。它不只关注“模型准不准”，还关注“模型是否还在被正确使用”。典型监控对象包括：输入特征分布、预测结果分布、标签回传延迟、推理耗时、调用量、异常率、业务转化率等。

数据漂移指输入数据分布发生变化，而模型与标签之间的关系尚未明显改变。例如某信贷模型训练时用户年龄集中在25至40岁，上线半年后新增大量50岁以上用户，输入分布偏移，但“年龄与违约关系”本身未必改变。数据漂移通常可通过PSI、KL散度、KS检验等统计量检测。

概念漂移指输入与输出之间的真实映射关系发生变化。例如疫情后线下消费骤降，原本“高频线下消费=高信用”的规则失效，即使输入分布不变，标签含义也已改变。概念漂移更难检测，往往需要标签回传后通过性能衰减间接发现。

模型衰减是数据漂移、概念漂移、数据质量下降、上游特征工程变更等因素共同作用的结果，表现为模型效果随时间下降。衰减可能是渐进的，也可能是突发的，例如上游系统字段口径变更导致特征整体偏移。

有效性审计是对监控体系本身是否有效进行独立评估。它要回答：监控指标是否覆盖关键风险？阈值是否合理？告警是否被及时处理？漂移检测是否真正触发重训或回滚？审计对象不是单个模型，而是“监控—告警—响应—复盘”这一整条控制链路。

二、方法流程：从监控到审计的闭环

一个可审计的模型监控流程通常包含六个环节，缺一不可：

1. 指标定义：明确监控哪些特征、哪些性能指标、哪些业务指标，并给出计算口径。
2. 数据采集：记录推理请求、特征值、预测值、时间戳、模型版本，确保可回溯。
3. 漂移检测：按天或按小时计算PSI、KS等统计量，与基线窗口对比。
4. 告警触发：设置分级阈值，区分观察、警告、严重三级，避免告警疲劳。
5. 响应处置：根据告警级别执行重训、回滚、人工复核或继续观察。
6. 审计复盘：定期检查告警是否被处理、处置是否有效、阈值是否需要调整。

三、常见应用场景与参数示例

不同业务场景下，漂移的敏感度和响应策略差异很大。以下清单可作为审计时的对照参考：

以PSI为例，常见阈值配置如下：

PSI < 0.1      → 分布稳定，正常监控
0.1 ≤ PSI < 0.25 → 轻度漂移，进入观察名单
PSI ≥ 0.25     → 显著漂移，触发告警与人工排查

# 审计检查点
# 1. 基线窗口是否固定？是否随季节调整？
# 2. 分箱方式是否与训练时一致？
# 3. 告警后是否有处置记录和效果回验？

四、误区与复盘