VIP20
本课程属于：076-量化因子研究阈值漂移巡查 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka驱动的因子漂移检测案例

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
因子漂移检测的背景 · Kafka在实时数据流中的角色 · 本课程目标与案例概览
课程导论因子漂移检测的背…
02
环境准备
Python环境配置 · Kafka与Zookeeper的安装… · 依赖库安装（kafka-python
环境准备Python
03
Kafka核心概念
Topic · Partition · Producer
Kafka核心概念
04
Kafka生产者实战
使用kafka-python编写生产… · 发送模拟因子数据到指定Topic
Kafka生产者实战
05
Kafka消费者实战
使用kafka-python编写消费… · 从指定Topic消费因子数据
Kafka消费者实战
06
因子数据建模
定义因子数据结构（如：因子名称 · 时间戳 · 数值
因子数据建模定义因子数据结构
07
数据序列化与反序列化
使用JSON/AVRO格式对因子数据…
数据序列化反序列化
08
流式数据预处理
在消费端对实时因子数据进行缺失值处理 · 标准化 · 滑动窗口聚合
流式数据预处理消费端对实时因子…
09
统计漂移检测方法（一）
基于均值和方差的漂移检测（Z-Sco…
统计漂移检测方法Z-Sco
10
统计漂移检测方法（二）
基于KS检验的分布漂移检测原理与实现
统计漂移检测方法KS
11
机器学习漂移检测方法（一）
基于隔离森林（Isolation F…
机器学习漂移检测…Isolation
12
机器学习漂移检测方法（二）
基于One-Class SVM的漂移…
机器学习漂移检测…One-Class
13
漂移检测集成策略
将多种检测方法的结果进行投票或加权融… · 提高检测鲁棒性
漂移检测集成策略将多种检测方法的…
14
Kafka Streams概念
介绍Kafka Streams AP…
KafkaStreams
15
实时漂移检测流水线设计
使用Kafka Topic作为数据管… · 串联数据生产 · 预处理
实时漂移检测流水…Kafka
16
告警机制实现
当检测到漂移时 · 生产者将告警消息发送到告警Topic · 消费者订阅并触发通知
告警机制实现当检测到漂移时
17
状态存储与回溯
使用Kafka的Compact To… · 支持回溯分析
状态存储回溯
18
案例实战（一）
构建一个模拟的金融因子（如动量因子）…
案例实战构建一个模拟的金…
19
案例实战（二）
在金融因子流上部署均值漂移检测器 · 并观察结果
案例实战金融因子流上部署…
20
案例实战（三）
在金融因子流上部署KS检验漂移检测器 · 并对比结果
案例实战KS
21
案例实战（四）
在金融因子流上部署隔离森林模型 · 进行实时异常检测
案例实战金融因子流上部署…
22
案例实战（五）
集成多个检测器 · 实现综合漂移评分与告警
案例实战集成多个检测器
23
性能优化
调整Kafka参数（batch.si… · linger.ms · acks）以优化吞吐量与延迟
性能优化Kafka
24
容错与Exactly-Once语义
在漂移检测场景下如何保证数据不丢不重
Exactly-Once容错
25
可视化监控
使用Matplotlib/Plotl…
可视化监控Matplotlib/P…
26
扩展性设计
如何将单因子检测扩展为多因子并行检测…
扩展性设计如何将单因子检测…
27
模型版本管理
结合Kafka与模型注册表 · 管理漂移检测模型的版本与热更新
模型版本管理Kafka
28
生产环境部署
使用Docker Compose编排… · Zookeeper与检测服务
生产环境部署Docker
29
常见问题与排错
消费者组再均衡 · 消息积压 · 序列化错误等问题的排查与解决
常见问题排错
30
课程总结与展望
回顾案例关键点 · 探讨Kafka在MLOps与AIOp…
课程总结回顾案例关键点