3. 实时PSI计算场景：为什么需要实时PSI
3.1 为什么需要实时PSI
在风控、推荐、广告等在线智能系统中，模型特征分布的稳定性直接决定业务效果。离线PSI（Population Stability Index）通常按天或小时计算，但数据漂移往往在分钟级内发生——例如突发流量、策略调整、数据源故障。实时PSI能够在秒级感知分布变化，为模型运维争取黄金干预窗口。
核心痛点：离线PSI发现漂移时，模型效果可能已经下降数小时，造成大量误判或收入损失。实时PSI将发现延迟从小时级压缩到分钟级甚至秒级。
3.2 离线PSI vs 实时PSI 差异
| 对比维度 | 离线PSI | 实时PSI |
|---|---|---|
| 计算周期 | 天/小时级（T+1或H+1） | 分钟/秒级（滑动窗口） |
| 数据源 | 离线数仓、Hive/Spark批处理 | Kafka/Pulsar实时流、Flink DataStream |
| 存储依赖 | HDFS、关系型数据库 | 状态后端（RocksDB/FS）、Redis |
| 计算引擎 | Spark SQL、Hive、Presto | Flink DataStream / SQL |
| 延迟 | 分钟~小时 | 秒~分钟 |
| 窗口类型 | 固定时间分区 | 滑动窗口、会话窗口 |
| 告警时效 | 事后复盘 | 实时触发、自动干预 |
| 典型场景 | 日报、周报、模型季度评估 | 在线模型监控、A/B实验护航 |
选型建议：离线PSI适合长期趋势分析和模型迭代回顾；实时PSI适合生产环境在线模型的稳定性保障。两者互补，但实时PSI在故障发现速度上具有不可替代的优势。
3.3 实时PSI计算流程
实时PSI的核心思路是：在Flink中维护一个参考分布（通常来自训练集或上线初期的数据）和一个实时分布（当前滑动窗口内的特征取值），然后按分箱计算每个箱的占比变化，最终聚合为PSI指标。
3.4 典型业务场景
场景一：风控模型特征漂移监控
信贷风控模型依赖用户收入、负债、多头借贷等特征。当宏观经济政策调整或黑产攻击模式变化时，特征分布可能在数分钟内发生偏移。实时PSI能够：
- 在特征分布偏离训练集时秒级告警，触发模型回退或特征切换
- 区分季节性波动（如月末借贷高峰）与异常漂移（如数据源中断）
- 结合Flink CEP实现多特征联合漂移检测，降低误报率
风控避坑：不要对所有特征使用相同的PSI阈值。高频特征（如年龄）天然波动小，低频特征（如职业代码）波动大，应分别设定动态阈值。
场景二：推荐系统特征分布突变检测
推荐模型依赖用户行为序列、物品属性、上下文特征。当运营活动上线、内容供给变化或用户兴趣迁移时，特征分布可能快速漂移：
- 实时监控用户侧特征（如点击率、停留时长）和物品侧特征（如类目分布、标签权重）
- 在A/B实验期间，实时PSI确保实验组和对照组的特征分布保持一致，避免辛普森悖论
- 当PSI超过阈值时，自动降级为兜底策略或回滚到上一版本模型
场景三：广告竞价特征稳定性保障
广告RTB（实时竞价）模型对特征实时性要求极高。广告主预算调整、流量质量变化、竞品策略变动都会导致特征漂移：
- 实时监控出价特征（如CPC、CTR预估）和上下文特征（如时段、设备类型）
- 当PSI持续上升时，触发模型热更新或流量切分，减少损失
- 结合Flink的多流Join能力，同时监控曝光流、点击流、转化流的特征一致性
3.5 实时PSI与离线PSI的协同架构
在实际生产环境中，实时PSI和离线PSI并非替代关系，而是互补。下图展示了两者在同一数据管道中的协同工作方式：
最佳实践：实时PSI负责秒级~分钟级的快速响应，离线PSI负责小时级~天级的趋势分析。两者共享同一份特征分箱配置，确保指标口径一致。建议在Flink中同时输出实时PSI到Kafka（供下游告警消费）和HDFS（供离线对比分析）。