1. 课程导论：PSI漂移检测的背景、实时流场景下的挑战、课程目标与前置知识
1.1 什么是PSI？为什么需要关注漂移？
群体稳定性指标（Population Stability Index, PSI） 是衡量两个样本分布之间差异程度的量化指标。在机器学习模型的生命周期中，PSI 被广泛用于监控模型输入特征或输出分数的分布是否随时间发生显著变化——即 分布漂移（Distribution Drift）。
当模型部署到生产环境后，业务环境、用户行为或数据采集方式的变化会导致实时数据分布偏离训练集分布。这种漂移若不及时发现，将直接造成模型预测精度下降、业务决策失误。PSI 因其计算简单、阈值明确（通常 PSI > 0.25 视为显著漂移），成为工业界最常用的漂移检测指标之一。
核心公式：
PSI = Σ (P_i - Q_i) * ln(P_i / Q_i)
其中：
P_i = 实际分布（实时窗口）在第 i 个分箱中的占比
Q_i = 期望分布（训练集/基准窗口）在第 i 个分箱中的占比
Σ = 对所有分箱求和| PSI 值范围 | 漂移程度 | 建议动作 |
|---|---|---|
| PSI < 0.10 | 无显著漂移 | 继续监控 |
| 0.10 ≤ PSI < 0.25 | 轻度漂移 | 预警并排查原因 |
| PSI ≥ 0.25 | 显著漂移 | 触发模型重训或回滚 |
1.2 实时流场景下的核心挑战
将 PSI 漂移检测从离线批处理迁移到 Kafka 实时流 环境，面临以下四个关键挑战：
- 窗口管理复杂：实时数据无边界，需要定义滑动窗口（如 1 小时、24 小时）来累积计算分布，窗口大小与滑动步长的选择直接影响检测灵敏度。
- 状态存储与容错：PSI 计算依赖历史分箱计数，Kafka Streams 的本地状态存储（RocksDB）需要合理配置，并处理故障恢复时的状态重建。
- 低延迟与高吞吐矛盾：每一条记录都触发分箱更新和 PSI 重算会带来巨大开销，必须设计增量计算策略，避免全量扫描。
- 基准分布对齐：训练集分布通常为离线 CSV/Parquet 文件，需要将其加载为 Kafka Streams 可用的静态 KTable，并处理特征分箱边界不一致的问题。
常见误区： 直接将离线 PSI 脚本移植到流处理中，使用全局聚合（如
groupBy + aggregate）逐条重算。这会导致 Kafka Streams 拓扑产生大量不必要的 shuffle 和状态更新，吞吐量急剧下降。
1.3 课程目标
完成本课程后，你将能够：
- 独立搭建 基于 Kafka Streams 的实时 PSI 漂移检测管道。
- 设计增量计算 算法，将 PSI 计算复杂度从 O(N) 降低到 O(1)（每事件）。
- 配置状态存储 与容错机制，确保生产环境下的 Exactly-Once 语义。
- 集成告警 与可视化（Grafana + Prometheus），实现漂移的实时监控。
- 编写单元测试 与集成测试，验证漂移检测逻辑的正确性。
1.4 前置知识要求
| 领域 | 具体要求 | 推荐资源 |
|---|---|---|
| Java / Scala | 熟悉基本语法、Lambda 表达式、Stream API | Java 8 实战 |
| Kafka 基础 | 理解 Topic、Partition、Consumer Group 概念 | Kafka 官方文档入门 |
| Kafka Streams | 了解 KStream、KTable、State Store 基本用法 | Confluent 开发者教程 |
| 统计学基础 | 理解直方图、分布、KL 散度 | 可汗学院统计学 |
| Docker / Docker Compose | 能够启动 Kafka 集群与 Schema Registry | Docker 快速入门 |
学习建议： 如果你对 Kafka Streams 的状态存储机制（如
TimeWindowedKTable）尚不熟悉，建议先完成 Confluent 官方的“Kafka Streams 101”课程，再进入本课程的实操环节。