1. 课程导论：PSI 监控与精算模型延迟告警的背景、目标与整体案例架构
1.1 案例背景：为什么需要 PSI 与延迟联合监控？
在保险精算与实时风控场景中，模型输出的稳定性与时效性直接决定业务决策质量。传统监控体系往往将模型稳定性（PSI）与系统延迟（Latency）割裂管理，导致以下典型问题：
- PSI 漂移发现滞后：模型分数分布发生偏移后，通常需要数小时甚至隔日才能通过离线报表发现，期间已产生大量错误定价或误判。
- 延迟告警无业务语义：基础设施层面的 P99 延迟告警无法关联到具体模型版本或特征批次，运维人员难以判断“延迟升高是否由模型重算引起”。
- 根因定位效率低：当 PSI 与延迟同时异常时，缺乏联合分析视图，排障链路从“应用层→模型层→数据层”逐级排查，平均 MTTR 超过 45 分钟。
案例数据：某头部寿险公司精算平台在 2024 年 Q2 曾因特征工程脚本变更导致 PSI 从 0.03 飙升至 0.21，同时模型推理延迟从 120ms 升至 890ms。由于两套告警系统独立运行，运维团队花费 52 分钟才定位到根因，期间影响 3.2 万张保单的实时定价。
1.2 课程目标：构建可解释的联合监控体系
本课程围绕 PSI（Population Stability Index）与模型推理延迟两个核心指标，建立一套从数据采集→指标计算→告警收敛→根因定位的完整实战方案。具体目标如下：
| 目标维度 | 具体指标 | 交付物 |
|---|---|---|
| 监控覆盖 | PSI 计算周期 ≤ 5 分钟；延迟采集粒度 ≤ 1 秒 | Prometheus Exporter + 自定义 PSI Collector |
| 告警精度 | PSI 告警误报率 < 5%；延迟告警关联准确率 > 90% | 动态阈值算法 + 多维度标签路由 |
| 排障效率 | 联合异常场景下 MTTR ≤ 15 分钟 | Grafana 联合看板 + 根因分析流程图 |
| 可扩展性 | 支持 10+ 模型版本并行监控 | 标准化 Exporter 接入规范 |
1.3 整体案例架构
本案例采用四层架构设计，覆盖从数据源到可视化告警的全链路。下图展示了核心组件与数据流关系：
1.4 关键设计原则
- 标签标准化：所有指标统一携带
model_name、model_version、feature_batch、env四个标签，确保 PSI 与延迟指标可在同一维度下关联查询。 - 滑动窗口对齐：PSI 计算窗口与延迟聚合窗口强制对齐（默认 5 分钟），避免因时间窗口错位导致误告警。
- 告警分级收敛：PSI 与延迟单独告警为 P3 级别；两者同时异常时升级为 P1 联合告警，并自动触发根因分析流程。
实战建议：在初期搭建时，建议先以 1 个核心精算模型为试点，完成 PSI + 延迟的联合监控闭环，再横向扩展到其他模型。本课程后续章节将基于“车险定价模型”这一具体案例展开。
1.5 案例数据流与关键指标定义
下表汇总了本案例中使用的核心指标及其计算口径：
| 指标名称 | 类型 | 计算方式 | 告警阈值 |
|---|---|---|---|
| psi_score | Gauge | Σ (实际占比 - 基准占比) * ln(实际占比 / 基准占比) | > 0.1（警告） > 0.25（严重） |
| inference_latency_seconds | Histogram | 模型推理端到端耗时（含特征拼接） | P99 > 500ms（警告） P99 > 1000ms（严重） |
| feature_distribution_kl | Gauge | KL 散度（辅助 PSI 定位漂移特征） | > 0.05（需关注） |
| model_version_switch | Counter | 模型版本切换事件计数 | 与 PSI 联合分析使用 |