VIP20
本课程属于：076-量化因子研究阈值漂移巡查 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka流式因子漂移检测实操课

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论与背景
什么是因子漂移？为什么在流式场景下检…
课程导论背景
02
环境搭建与工具链
安装Java · Kafka · Zookeeper
环境搭建工具链
03
Kafka核心概念速览
Topic · Partition · Producer
Kafka核心概念速览
04
Python连接Kafka
安装kafka-python库 · 编写第一个Producer发送模拟因… · Consumer消费数据
PythonKafka
05
因子数据生成器设计
使用Python生成模拟的金融/风控… · 包含正常与漂移模式
因子数据生成器设…Python
06
数据序列化与Schema管理
使用Avro或JSON Schema… · 在Kafka中高效传输
Schema数据序列化
07
流式数据预处理
使用Faust或Kafka Stre… · 窗口聚合
流式数据预处理Faust
08
统计漂移检测基础
均值漂移 · 方差漂移 · 分布漂移（KS检验）的原理与流式实现
统计漂移检测基础均值漂移
09
基于滑动窗口的统计检测
实现固定窗口与滑动窗口的均值/方差监… · 输出告警信号到Kafka
基于滑动窗口的统…实现固定窗口
10
PSI（群体稳定性指标）流式计算
在流上实时计算PSI · 判断因子分布是否发生显著变化
PSI群体稳定性指标
11
KS检验流式化
将双样本KS检验适配到流式场景 · 使用蓄水池抽样或衰减窗口
KS检验流式化
12
基于模型的漂移检测
使用流式孤立森林或HBOS（直方图异…
基于模型的漂移检…HBOS
13
在线学习与自适应阈值
使用EWMA（指数加权移动平均）动态…
线学习自适应阈值
14
多因子联合漂移检测
利用协方差矩阵或马氏距离检测多因子间…
多因子联合漂移检…利用协方差矩阵或…
15
概念漂移 vs 数据漂移
区分特征漂移（数据漂移）与模型概念漂… · 在Kafka流中分别处理
vs概念漂移
16
告警系统设计
将漂移检测结果（漂移分数 · 时间戳 · 因子名）写入Kafka告警Topic
告警系统设计将漂移检测结果
17
实时仪表盘集成
使用Grafana或Streamli… · 可视化漂移分数与告警
实时仪表盘集成Grafana
18
Kafka Streams DSL实战
使用Kafka Streams（Ja…
KafkaStreams
19
状态存储与容错
使用RocksDB状态存储保存窗口统… · 确保Exactly-Once语义
状态存储容错
20
性能优化
调整Kafka Producer/C… · linger.ms · fetch.min.bytes）提升…
性能优化Kafka
21
数据回填与历史对比
从Kafka的Compact Top… · 与实时流进行对比漂移分析
数据回填历史对比
22
集成测试与混沌工程
模拟Kafka Broker宕机 · 网络延迟 · 验证漂移检测系统的鲁棒性
集成测试混沌工程
23
生产部署
使用Docker Compose编排… · Zookeeper · 检测服务
生产部署Docker
24
监控与日志
集成Prometheus + JMX… · ELK收集检测日志
监控日志
25
案例实战1
金融风控因子漂移检测——实时监控信用…
案例实战1金融风控因子漂移…
26
案例实战2
IoT传感器因子漂移检测——检测工业… · 振动因子的异常漂移
案例实战2IoT
27
案例实战3
推荐系统特征漂移检测——监控用户行为… · 停留时长）的分布变化
案例实战3推荐系统特征漂移…
28
进阶
基于深度学习的流式漂移检测——使用在…
进阶基于深度学习的流…
29
联邦漂移检测
在多个Kafka集群间同步漂移模型参… · 实现跨域协同检测
联邦漂移检测Kafka
30
课程总结与最佳实践
回顾关键架构 · 常见陷阱 · 生产调优建议
课程总结最佳实践