VIP10
本课程属于：037-Kafka与Flink金融实时数据工程 智能金融与金融工程 · 共 10 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Flink作业反压、吞吐与延迟优化实战

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=Flink作业反压 · 吞吐与延迟优化的学习目标 · 核心概念
课程导入Flink
02
Flink运行时架构
目标=JobManager · TaskManager · Slot
Flink运行时架构
03
数据流与执行图
目标=StreamGraph · JobGraph · ExecutionGraph
数据流执行图
04
反压机制原理
目标=Flink基于信用值的反压机制 · TCP反压 · LocalBufferPool与Ne…
反压机制原理Flink
05
反压的常见表现
目标=Web UI反压指标 · Metrics监控 · 日志告警
反压的常见表现Web
06
反压根因分析方法
目标=从Source · 算子 · Sink
反压根因分析方法Source
07
吞吐与延迟的度量
目标=吞吐量 · 延迟 · 背压率
吞吐延迟的度量
08
资源调优基础
目标=并行度 · Slot共享 · TaskManager内存
资源调优基础目标=并行度
09
并行度与算子链优化
目标=并行度设置原则 · 算子链拆分与合并 · Slot共享组
并行度算子链优化
10
网络缓冲与反压调优
目标=taskmanager.net… · 缓冲超时 · 内存段大小
网络缓冲反压调优
11
数据倾斜识别与处理
目标=KeyBy倾斜 · 窗口倾斜 · Join倾斜的检测方法与两阶段聚合
数据倾斜识别处理
12
Checkpoint与反压关系
目标=Checkpoint对齐 · 非对齐Checkpoint · 状态后端选择对吞吐与延迟的影响
Checkpoint反压关系
13
状态管理与性能
目标=KeyedState · OperatorState · RocksDB状态后端调优
状态管理性能
14
Watermark与事件时间优化
目标=Watermark生成策略 · 空闲分区 · 迟到数据
Watermark事件时间优化
15
窗口计算优化
目标=滚动窗口 · 滑动窗口 · 会话窗口的性能差异
窗口计算优化目标=滚动窗口
16
Join算子优化
目标=Regular Join · Interval Join · Temporal Join
Join算子优化
17
Source端优化
目标=Kafka · Pulsar · File
Source端优化
18
Sink端优化
目标=Kafka · JDBC · Elasticsearch
Sink端优化
19
异步IO与维表关联
目标=Async I/O原理 · 容量与超时设置 · 缓存策略
IO异步
20
内存管理与GC调优
目标=TaskManager内存模型 · 堆内堆外内存 · RocksDB内存
GC内存管理
21
序列化与数据格式优化
目标=TypeInformation · Kryo · Avro
序列化数据格式优化
22
Metrics与监控体系
目标=Flink Metrics · Prometheus · Grafana
Metrics监控体系
23
日志与火焰图诊断
目标=Thread Dump · JStack · Async Profiler
日志火焰图诊断
24
反压实战案例一
目标=Kafka Source消费延… · 分区 · 限速调优
反压实战案例一Kafka
25
反压实战案例二
目标=窗口聚合数据倾斜导致反压的两阶…
反压实战案例二目标=窗口聚合数…
26
反压实战案例三
目标=Sink写入瓶颈导致反压的批量 · 异步 · 连接池与背压策略优化
反压实战案例三Sink
27
吞吐优化实战
目标=从Source到Sink的全链… · 包括并行度 · 缓冲
吞吐优化实战Source
28
延迟优化实战
目标=端到端低延迟设计 · 包括Watermark · 窗口
延迟优化实战目标=端到端低延…
29
常见问题与误区
目标=反压等于性能差 · 并行度越高越好 · Checkpoint越频繁越好等误区…
常见问题误区
30
综合提升与最佳实践
目标=生产环境调优流程 · 容量规划 · 压测方法
综合提升最佳实践