VIP20
本课程属于：043-实时风控网关批流一体链路 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

批流一体风控链路优化技巧课程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
批流一体概述
批处理与流处理的概念对比 · Lambda架构与Kappa架构的演… · 批流一体在风控中的核心价值
批流一体概述批处理
02
风控链路全景分析
风控系统典型链路（数据采集→特征计算… · 批流一体如何统一离线与实时链路
风控链路全景分析风控系统典型链路
03
Flink核心概念回顾
DataStream与DataSet… · Flink的Checkpoint与状… · Event Time与Process…
Flink核心概念回顾
04
Kafka作为批流统一数据管道
Kafka Topic的分区策略 · 消息保序与Exactly-Once语… · Kafka与Flink的集成优化
Kafka作为批流统一数据…
05
实时特征计算优化
使用Flink SQL进行滑动窗口聚… · Keyed State与定时器实现复… · 避免状态膨胀的TTL策略
实时特征计算优化Flink
06
离线特征计算优化
批处理特征的回填策略（T+1 vs… · Hive/Spark与Flink B… · 分区裁剪与谓词下推
离线特征计算优化T+1
07
特征存储选型与优化
Redis/Redis Cluste… · HBase的RowKey设计与预分区 · 特征冷热数据分层存储
特征存储选型优化
08
规则引擎的批流统一
Drools/易盾等规则引擎的离线批… · 实时规则热加载机制 · 规则版本管理与灰度发布
规则引擎的批流统…Drools
09
模型推理的批流统一
TensorFlow/PMML模型在… · 离线批量模型评估Pipeline · 模型特征对齐与校验
模型推理的批流统…TensorFlow/P…
10
数据倾斜问题排查与解决
KeyBy热点Key的发现 · Flink的MiniBatch与Lo… · 自定义分区器解决倾斜
数据倾斜问题排查解决
11
反压机制与背压优化
Flink反压监控指标 · 反压根因定位（算子瓶颈/外部组件慢） · Buffer与流量控制参数调优
反压机制背压优化
12
Checkpoint与状态一致性优化
Checkpoint间隔与超时设置 · 增量Checkpoint与Rocks… · 端到端Exactly-Once保障
Checkpoint状态一致性优化
13
资源管理与弹性伸缩
Flink on YARN/K8s的… · 动态Slot管理 · 基于负载的自动扩缩容方案
资源管理弹性伸缩
14
批流一体数据质量监控
离线与实时数据对账机制 · 延迟数据监控与告警 · 脏数据隔离与重试策略
批流一体数据质量…离线
15
全链路延迟优化
从数据产生到决策输出的端到端延迟拆解 · 网络/序列化/算子链的优化技巧 · 低延迟场景的线程模型选择
全链路延迟优化从数据产生到决策…
16
多流Join优化
Flink的Interval Joi… · 维表Join的异步IO与缓存策略 · 避免Join状态爆炸的优化
Join多流
17
复杂事件处理（CEP）优化
Flink CEP的NFA与状态管理 · CEP模式匹配的性能瓶颈 · 使用SQL MATCH_RECOGN…
CEP复杂事件处理
18
批流一体测试与仿真
离线回放实时数据流进行回归测试 · Mock外部依赖（Redis/HBa… · 流量复制与压测工具
批流一体测试仿真
19
监控与可观测性
Prometheus+Grafana… · 自定义Metrics上报关键链路耗时 · 日志聚合与链路追踪（Jaeger）
监控可观测性
20
容错与高可用设计
Flink JobManager H… · Region Failover与局部… · 外部组件（Kafka/Redis）的…
容错高可用设计
21
批流一体数据湖方案
Apache Iceberg/Del… · 批流统一写入与读取 · 数据湖的ACID与时间旅行
批流一体数据湖方…Apache
22
SQL化风控链路
使用Flink SQL定义规则与特征 · SQL作业的调优（MiniBatch… · SQL与Table API的混合使用
SQL化风控链路
23
算子链与任务链优化
Flink Operator Cha… · 避免序列化开销的优化 · 使用RichFunction管理生命…
算子链任务链优化
24
内存管理与GC优化
Flink的堆外内存与托管内存配置 · 避免Full GC的调优策略 · RocksDB的内存控制
GC内存管理
25
批流一体部署与CI/CD
基于Docker/K8s的Flink… · 作业版本管理与回滚 · 自动化测试与发布流水线
CI/CD批流一体部署
26
实时风控场景实战（一）
登录风控——实时统计登录频次 · 异地登录检测 · 设备指纹与IP信誉分计算
实时风控场景实战登录风控
27
实时风控场景实战（二）
交易风控——实时金额聚合 · 黑名单匹配 · 基于图计算的团伙检测
实时风控场景实战交易风控
28
离线风控场景实战
批量用户画像生成 · 离线规则回测与效果评估 · 模型离线训练与特征工程
离线风控场景实战批量用户画像生成
29
批流一体架构演进案例
从Lambda架构迁移到Kappa架… · 某金融公司风控链路优化前后对比
批流一体架构演进…Lambda
30
未来趋势与总结
批流一体与AI结合（实时模型更新） · Serverless风控 · 课程总结与最佳实践清单
未来趋势AI