VIP20
本课程属于：082-支付风控策略批次偏移诊断 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Flink驱动商户风险迁移：批次偏移诊断实操

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
商户风险迁移背景 · Flink在风控中的角色 · 批次偏移诊断的价值
课程导论商户风险迁移背景
02
Flink核心概念回顾
DataStream · KeyedStream · Window
Flink核心概念回顾
03
商户风险数据模型
风险事件表结构 · 商户画像字段 · 批次偏移量定义
商户风险数据模型风险事件表结构
04
Flink环境搭建
本地开发环境 · Flink集群模式 · Kafka/Pulsar数据源配置
Flink环境搭建
05
数据源接入
Kafka Source配置 · 反序列化Schema · 水位线(Watermark)设置
数据源接入Kafka
06
批次偏移计算原理
偏移量定义 · 滑动窗口聚合 · 增量计算与全量计算对比
批次偏移计算原理偏移量定义
07
Flink SQL实现批次偏移
CREATE TABLE · GROUP BY窗口 · OVER窗口函数
FlinkSQL
08
DataStream API实现批次偏移
KeyBy · ProcessFunction · ValueState
DataStreamAPI
09
状态后端选择
HashMapStateBacken… · RocksDBStateBacken… · 性能对比
状态后端选择HashMapState…
10
Checkpoint与Savepoint
配置策略 · Exactly-Once语义 · 故障恢复演练
CheckpointSavepoint
11
水位线(Watermark)调优
乱序数据处理 · Allowed Lateness · Side Output
Watermark水位线
12
双流Join场景
商户信息流与交易流关联 · Interval Join · Temporal Join
Join双流
13
复杂事件处理(CEP)
风险模式定义 · Pattern API · 超时与跳过策略
CEP复杂事件处理
14
动态规则更新
广播流(BroadcastStrea… · 配置热加载 · 规则版本管理
动态规则更新BroadcastStr…
15
批次偏移诊断指标
延迟指标 · 吞吐量指标 · 数据倾斜指标
批次偏移诊断指标延迟指标
16
Flink Web UI监控
Job图 · Task Metrics · BackPressure
FlinkWeb
17
日志与Metrics系统
SLF4J配置 · Prometheus + Grafa… · 自定义Reporter
Metrics日志
18
数据倾斜诊断
Key分布不均 · Subtask负载差异 · 解决方案(二次Key/随机前缀)
数据倾斜诊断Key
19
反压(BackPressure)排查
反压原理 · 定位瓶颈Task · 优化算子链
BackPressure反压
20
状态膨胀问题
状态大小监控 · TTL配置 · 增量Checkpoint
状态膨胀问题状态大小监控
21
Checkpoint失败诊断
超时原因 · 对齐机制 · 异步快照异常
Checkpoint失败诊断
22
数据丢失与重复
Source端Offset管理 · Sink端幂等性 · 两阶段提交
数据丢失重复
23
Flink SQL调优
MiniBatch · LocalGlobal · Distinct优化
FlinkSQL
24
DataStream API调优
算子链合并 · Buffer超时 · 并行度调整
DataStreamAPI
25
资源参数调优
TaskManager内存分配 · CPU Slot · 堆外内存
资源参数调优TaskManager
26
生产环境部署
YARN/K8s模式 · 高可用配置 · 日志归档
生产环境部署YARN/K8s
27
全链路压测
压测工具选型 · 数据模拟 · 性能基线
全链路压测压测工具选型
28
案例实战一
某支付商户批次偏移突增诊断与恢复
案例实战一某支付商户批次偏…
29
案例实战二
双11大促期间Flink作业稳定性保…
案例实战二Flink
30
课程总结
最佳实践清单 · 常见问题FAQ · 进阶学习路径
课程总结最佳实践清单