VIP20
本课程属于：011-组合风险归因训练集切分 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

基于Kafka的风险归因数据流切分教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
风险归因数据流切分的背景 · 目标与整体架构概览
课程导论风险归因数据流切…
02
Kafka核心概念回顾
Topic · Partition · Consumer Group
Kafka核心概念回顾
03
风险数据源接入
常见风险事件数据源（交易 · 风控规则 · 外部情报）的Kafka生产者设计
风险数据源接入常见风险事件数据…
04
数据流切分原则
基于风险因子（时间 · 地域 · 资产类型
数据流切分原则基于风险因子
05
Topic命名规范与设计
为不同风险归因维度设计合理的Topi…
Topic命名规范
06
Partition数量规划
根据风险数据吞吐量与归因粒度计算最佳…
Partition数量规划
07
消息Key设计
利用消息Key（如用户ID · 交易ID）实现风险数据的局部有序与分…
Key消息
08
生产者分区策略
自定义Partitioner实现基于…
生产者分区策略Partitioner
09
消费者组与负载均衡
为不同风险归因模块分配独立的Cons…
消费者组负载均衡
10
数据序列化与反序列化
使用Avro/Protobuf定义风…
数据序列化反序列化
11
Schema Registry集成
管理风险数据字段的版本演进与兼容性
SchemaRegistry
12
流式处理框架选型
Kafka Streams vs F…
流式处理框架选型Kafka
13
Kafka Streams实现数据切分
使用KStream分支操作按风险等级…
KafkaStreams
14
Flink实现动态路由
基于CEP模式匹配的风险事件实时切分
Flink实现动态路由
15
多级切分架构
第一级按风险大类切分 · 第二级按子类精细化分流
多级切分架构第一级按风险大类…
16
时间窗口切分
基于事件时间与处理时间的滑动窗口归因…
时间窗口切分基于事件时间
17
数据去重与幂等性
在切分过程中保证风险事件不重复 · 不丢失
数据去重幂等性
18
Exactly-Once语义保障
在Kafka流式切分中实现端到端精确…
Exactly-Once语义保障
19
死信队列设计
处理无法归因或格式错误的风险数据
死信队列设计处理无法归因或格…
20
监控与告警
使用JMX · Prometheus监控Kafka切…
监控告警
21
数据质量校验
在切分节点嵌入Schema校验与字段…
数据质量校验Schema
22
回压机制与背压处理
应对风险数据突发高峰的流控策略
回压机制背压处理
23
多数据中心部署
跨地域风险数据流的Kafka Mir…
多数据心部署
24
安全与权限控制
使用SASL/ACL保护风险归因To…
安全权限控制
25
数据湖集成
将切分后的风险归因数据写入HDFS/…
数据湖集成HDFS
26
实时特征工程
在切分过程中计算风险特征并附加到消息…
实时特征工程切分过程
27
A/B测试支持
为不同风险模型版本切分独立的数据流
A/B测试支持
28
性能调优实战
调整batch.size · linger.ms · compression提升切分效率
性能调优实战batch.size
29
故障恢复与容错
Consumer Rebalance…
故障恢复容错
30
课程总结与最佳实践
风险归因数据流切分的架构模式与常见陷…
课程总结最佳实践