VIP20
本课程属于：043-实时风控网关批流一体链路 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

风控数据链路Kafka集成与调优实战指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
风控数据链路概述
风控系统架构演进 · Kafka在风控中的核心定位 · 实时风控与离线风控的数据流差异
风控数据链路概述风控系统架构演进
02
Kafka基础概念回顾
Topic · Partition · Consumer Group
Kafka基础概念回顾
03
风控场景下的Topic设计
事件类型划分 · 分区键选择策略 · 副本因子与风控合规要求
Topic风控场景下的
04
风控消息体Schema设计
Avro与Protobuf选型 · 字段冗余设计 · 时间戳与TraceId的强制规范
Schema风控消息体
05
生产者客户端集成
Java/Go/Python生产者初… · acks与retries配置 · 幂等性与事务在风控中的使用
生产者客户端集成Java/Go/Pyth…
06
生产者调优
批量发送与linger.ms · 压缩算法选择（gzip/zstd/l… · 内存缓冲区调优
生产者调优linger.ms
07
消费者客户端集成
消费者组与分区分配策略（Range/… · 手动提交与自动提交
消费者客户端集成Range
08
消费者调优
fetch.min.bytes与ma… · 会话超时与心跳 · 重平衡优化
消费者调优fetch.min.by…
09
风控数据序列化与反序列化
自定义Deserializer · Schema Registry集成 · 兼容性策略
风控数据序列化反序列化
10
风控消息路由与过滤
基于Header的路由 · Streams DSL过滤 · 正则Topic匹配
风控消息路由过滤
11
Kafka Connect集成风控数据源
JDBC Source连接MySQL… · Sink到HDFS/ES
KafkaConnect
12
Kafka Streams在风控中的应用
状态存储 · 窗口聚合 · 实时规则匹配
KafkaStreams
13
风控实时特征计算
基于Kafka Streams的滑动… · 去重 · 速率限制
风控实时特征计算Kafka
14
风控规则引擎与Kafka集成
Drools/Flink CEP与K… · 规则热更新
Kafka风控规则引擎
15
风控数据血缘与链路追踪
OpenTelemetry集成 · 消息轨迹埋点 · Kafka Audit Log
风控数据血缘链路追踪
16
风控数据延迟监控
端到端延迟测量 · Lag监控 · 时间戳提取与告警
风控数据延迟监控端到端延迟测量
17
Kafka集群高可用部署
风控场景的机房容灾 · 跨AZ复制 · MirrorMaker2配置
Kafka集群高可用部署
18
风控数据安全
SSL/TLS加密 · SASL认证 · ACL权限控制
风控数据安全SSL/TLS
19
Kafka监控体系
JMX指标 · Prometheus+Grafana… · Cruise Control
Kafka监控体系
20
风控数据链路压测
生产者吞吐压测 · 消费者消费能力压测 · 全链路压力模型
风控数据链路压测生产者吞吐压测
21
常见问题排查
消息丢失 · 重复消费 · 分区倾斜
常见问题排查消息丢失
22
Kafka版本升级与风控兼容性
滚动升级策略 · 协议兼容性 · 客户端版本管理
Kafka版本升级
23
风控数据湖与Kafka集成
Kafka到Hudi/Iceberg… · CDC同步
Kafka风控数据湖
24
风控实时特征存储
Kafka与Redis/ClickH… · 特征回填
风控实时特征存储Kafka
25
风控决策流编排
Kafka消息驱动的DAG决策 · 超时与补偿机制
风控决策流编排Kafka
26
风控数据重放与回溯
基于Offset的回溯消费 · 时间戳回溯 · 数据修复流程
风控数据重放回溯
27
Kafka与Flink集成实战
Flink Kafka Connec… · Checkpoint与Exactly…
KafkaFlink
28
风控多环境管理
Dev/Staging/Prod的T… · 数据脱敏 · 配置中心
风控多环境管理Dev/Staging/…
29
风控数据链路成本优化
Topic compaction · 日志保留策略 · 分区数合理性评估
风控数据链路成本…Topic
30
全链路实战案例
从埋点到决策的端到端风控Kafka架…
全链路实战案例Kafka