1. 课程导论：因子漂移检测的背景、Kafka在实时数据流中的角色、本课程目标与案例概览
1.1 因子漂移检测的背景
在量化金融与实时风控领域，因子（Factor）是驱动模型预测的核心变量。然而，市场环境、投资者行为与宏观政策的变化会导致因子的统计分布或预测能力随时间发生改变，这种现象称为因子漂移（Factor Drift）。若不及时检测并调整模型，将引发策略失效、回撤加剧甚至系统性风险。
关键洞察： 因子漂移并非偶发事件，而是金融数据流的常态。传统离线回测无法捕捉分钟级甚至秒级的分布突变，必须依赖实时流处理技术。
因子漂移的主要类型包括：
| 漂移类型 | 定义 | 典型触发场景 |
|---|---|---|
| 概念漂移 | 因子与目标变量之间的关系发生变化 | 市场风格切换（如价值因子突然失效） |
| 数据漂移 | 因子自身的统计分布（均值、方差）发生偏移 | 财报季数据口径调整、异常交易量冲击 |
| 协变量漂移 | 输入特征空间的结构性变化 | 新资产类别纳入、行业分类标准更新 |
1.2 Kafka在实时数据流中的角色
Apache Kafka 作为分布式事件流平台，在本案例中承担实时数据总线与状态管理的双重角色。其核心能力与因子漂移检测的需求高度匹配：
- 高吞吐低延迟： 支持每秒百万级消息写入，满足多因子实时行情接入。
- 持久化与回溯： 消息日志可配置保留策略，支持历史数据重放用于漂移基线校准。
- 流式处理（Kafka Streams / ksqlDB）： 在流内直接完成滑动窗口统计、分布对比与告警触发，无需外部计算引擎。
- Exactly-Once 语义： 保证漂移检测结果不重复、不丢失，适用于资金敏感场景。
架构提示： 本课程所有案例均基于 Kafka 3.5+ 版本，使用 Kafka Streams DSL 实现无状态与有状态算子，不依赖 Spark/Flink 等额外框架，降低运维复杂度。
1.3 本课程目标
通过本课程，学员将掌握一套端到端的实时因子漂移检测系统的构建方法。具体目标包括：
- 理解漂移检测理论： 掌握 KL 散度、PSI（群体稳定性指标）、KS 统计量等核心指标在流式场景下的适用边界。
- 掌握 Kafka Streams 开发： 熟练使用 KTable、滑动窗口、状态存储与处理器 API 实现实时统计。
- 构建生产级管道： 集成 Schema Registry、Avro 序列化、监控告警与容器化部署。
- 实战案例驱动： 基于真实日频因子数据模拟实时流，完成从 Topic 设计到漂移看板的全链路实现。
1.4 案例概览
本课程围绕一个多因子量化选股策略的漂移检测场景展开。案例数据包含 10 个常见选股因子（如市盈率倒数、动量、波动率等），模拟实时行情推送至 Kafka。系统每 5 分钟计算一次因子分布与历史基线的偏离程度，当漂移评分超过阈值时自动触发告警并记录上下文。
注意： 案例中的因子数据为脱敏模拟数据，仅用于教学演示。实际生产环境中需根据业务逻辑调整窗口大小、阈值与告警策略。
1.5 课程适用人群与前置知识
- 数据工程师/MLOps工程师： 希望将实时流处理引入模型监控体系。
- 量化研究员/风控分析师： 需要自动化因子有效性跟踪工具。
- 后端开发者： 对 Kafka Streams 状态化处理感兴趣。
前置要求： 熟悉 Java/Python 基础语法，了解 Kafka 基本概念（Topic、Partition、Consumer Group），具备 Docker 基础操作能力。本课程提供完整代码仓库与 docker-compose 环境。