VIP20
本课程属于：011-组合风险归因训练集切分 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

用Kafka构建组合风险归因训练数据流

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
组合风险归因的业务背景 · 为什么需要实时数据流 · Kafka在金融风控中的核心价值
课程导论组合风险归因的业…
02
Kafka基础回顾
Topic · Partition · Producer
Kafka基础回顾
03
风险归因数据模型设计
因子暴露 · 因子收益 · 特质收益
风险归因数据模型…因子暴露
04
数据源接入设计
对接交易系统 · 行情系统 · 参考数据源的Kafka Connec…
数据源接入设计对接交易系统
05
Avro与Schema Registry
使用Avro定义风险归因消息Sche… · 实现强类型与兼容性管理
AvroSchema
06
生产者客户端开发
Java/Python Produc…
生产者客户端开发Java/Python
07
分区策略与键设计
按组合ID与时间窗口设计Partit… · 保证同一组合数据有序性
分区策略键设计
08
消费者客户端开发
实现多线程Consumer消费风险归… · 处理Rebalance与位移提交
消费者客户端开发Consumer
09
流处理核心
Kafka Streams DSL实…
流处理核心Kafka
10
状态存储与窗口操作
使用Kafka Streams St…
状态存储窗口操作
11
KSQL实战
用KSQL实现简单的风险因子聚合查询 · 快速验证数据流正确性
KSQL实现简单的风险因…
12
数据质量监控
在Producer端与Streams… · 发送死信队列
数据质量监控Producer
13
Exactly-Once语义
配置Kafka事务与幂等生产者 · 保证风险归因结果不重不漏
Exactly-Once语义
14
时间戳与水位线
事件时间 · 摄入时间 · 处理时间的选择
时间戳水位线
15
风险归因计算引擎
基于Flink或Spark Stre… · 实现Barra模型归因
风险归因计算引擎Flink
16
特征工程管道
从Kafka原始流中提取因子暴露 · 收益率等特征 · 生成训练样本
特征工程管道Kafka
17
训练数据存储
将归因结果与特征写入ClickHou…
训练数据存储ClickHou
18
数据回溯与重放
利用Kafka的日志保留特性 · 实现历史风险归因数据的重放与验证
数据回溯重放
19
多租户与权限控制
使用Kafka ACL与SASL/S…
多租户权限控制
20
集群监控与告警
Prometheus + Grafa… · 设置风险数据延迟告警
集群监控告警
21
性能调优
调整batch.size · linger.ms · compression等参数
性能调优batch.size
22
容错与高可用
多副本机制 · ISR配置 · 故障转移场景下的数据一致性保障
容错高可用
23
数据湖集成
使用Kafka Connect S3…
数据湖集成Kafka
24
实时仪表盘
从Kafka消费归因结果 · 推送至WebSocket实现组合风险…
实时仪表盘Kafka
25
离线批处理补充
使用Kafka与Hive/Spark… · 进行T+1的批量风险归因校验
离线批处理补充Kafka
26
测试与仿真环境
构建本地Docker Compose… · 模拟多组合风险数据流
测试仿真环境
27
CI/CD与Schema演进
在GitLab CI中自动化Sche… · 实现数据管道持续交付
CI/CDSchema
28
案例实战
某量化基金实时组合风险归因数据管道全…
案例实战某量化基金实时组…
29
常见问题与排错
Consumer Rebalance… · 消息积压 · 序列化异常等实战问题解决
常见问题排错
30
课程总结与展望
从实时归因到在线学习 · Kafka在智能风控中的未来演进方向
课程总结从实时归因到