1. 课程导论：因子漂移的定义、实时巡查的业务价值、课程目标与前置知识
1.1 什么是因子漂移？—— 从“模型失效”到“数据分布迁移”
在机器学习与实时风控系统中，模型上线后并非一成不变。业务环境、用户行为、市场周期甚至数据采集方式的变化，都会导致模型输入特征（因子）的统计分布发生偏移。这种偏移一旦超出模型训练时的假设边界，模型预测能力就会急剧下降，这种现象被称为因子漂移（Feature Drift）。
因子漂移通常表现为以下三种形态：
| 漂移类型 | 定义 | 典型场景 |
|---|---|---|
| 概念漂移（Concept Drift） | 特征与标签之间的映射关系发生变化 | 用户点击率模型因季节促销失效 |
| 数据漂移（Data Drift） | 输入特征的分布（均值、方差、分位数）发生偏移 | 用户年龄分布因新客群涌入而改变 |
| 上游数据质量漂移 | 数据源缺失、延迟、格式变更导致特征值异常 | 埋点字段被废弃，特征值全部为 null |
核心认知： 因子漂移不是“模型坏了”，而是“数据变了”。实时巡查的目标就是在数据变化的第一时间发现偏移，而不是等到模型 AUC 暴跌后才被动响应。
1.2 实时巡查的业务价值 —— 为什么需要“秒级”发现漂移？
在传统离线监控中，因子漂移通常通过 T+1 的报表或周度 PSI（Population Stability Index）计算来发现。这种滞后性在以下场景中会带来严重损失：
- 金融风控： 欺诈模式在数小时内突变，离线报表发现时已造成大量坏账。
- 推荐系统： 用户兴趣漂移导致 CTR 骤降，次日修复意味着损失全天流量。
- 实时定价： 竞品调价导致特征分布偏移，延迟响应会直接损失利润。
实时巡查的核心价值体现在三个维度：
| 维度 | 离线监控 | 实时巡查（本课程） |
|---|---|---|
| 延迟 | T+1 ~ 周级 | 秒级 ~ 分钟级 |
| 覆盖粒度 | 全量样本聚合 | 分区、分群、分时段细粒度 |
| 响应动作 | 人工分析 + 手动回滚 | 自动告警 + 动态降级 / 模型切换 |
| 数据源 | 离线数仓 / Hive | Kafka 实时流 |
一句话总结： 实时巡查将漂移发现窗口从“事后复盘”压缩到“事中干预”，是保障高时效业务系统稳定性的最后一道防线。
1.3 课程目标与学习路径
本课程旨在帮助学员掌握一套基于 Kafka 的因子漂移实时巡查系统的完整设计与实现能力。学完本课程，你将能够：
- 理解 因子漂移的数学定义与统计检测方法（PSI、KS、Jensen-Shannon 散度）。
- 设计 基于 Kafka Streams / Flink 的实时特征窗口聚合与漂移计算架构。
- 实现 多维度（全局、分组、分时段）漂移巡查管道，并输出告警事件。
- 部署 高可用、低延迟的实时监控服务，并集成到现有 MLOps 体系。
课程分为四个阶段：
| 阶段 | 章节范围 | 核心产出 |
|---|---|---|
| 基础篇 | 第 1 ~ 6 章 | 漂移检测算法实现 + Kafka 基础管道 |
| 架构篇 | 第 7 ~ 15 章 | 实时巡查系统架构设计与核心组件 |
| 实战篇 | 第 16 ~ 25 章 | 完整系统编码、测试与调优 |
| 进阶篇 | 第 26 ~ 30 章 | 多模型管理、自动回滚与生产运维 |
1.4 前置知识要求
为了确保学习效果，建议学员具备以下基础：
- 编程语言： 熟练使用 Java 或 Scala，能阅读并编写 Kafka Streams / Flink 代码。
- 消息队列： 了解 Kafka 基本概念（Topic、Partition、Consumer Group），有生产消费经验。
- 统计学基础： 理解均值、方差、分位数、概率分布等基本概念。
- 机器学习基础： 了解模型训练与推理流程，知道特征工程的基本操作。
注意： 如果你对 Kafka 完全陌生，建议先学习《Kafka 快速入门》或本课程附录中的 Kafka 基础章节。本课程不会从头讲解 Kafka 安装与基础 API。
1.5 因子漂移实时巡查系统全景图
下图展示了本课程将要构建的实时巡查系统的整体架构，帮助你在开始学习前建立全局视角：
1.6 本章小结
本章我们明确了三个核心概念：
- 因子漂移 是模型失效的根本原因，分为概念漂移、数据漂移和数据质量漂移。
- 实时巡查 将发现窗口从 T+1 压缩到秒级，是保障高时效业务的关键手段。
- 本课程 将带你从零构建一套基于 Kafka 的实时漂移检测系统，覆盖算法、架构、编码与运维。