VIP20

本课程属于：035-Flink状态管理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink状态管理从入门到实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Flink状态管理概述

什么是状态、为什么需要状态管理、有状态计算与无状态计算的区别。

核心概念入门

Flink运行时架构

JobManager、TaskManager、Slot、并行度与状态的关系。

架构并行度

Keyed State入门

ValueState、ListState、MapState、ReducingState、AggregatingState的概念与使用场景。

KeyedState原语

Operator State入门

ListState、UnionListState、BroadcastState的概念与使用场景。

OperatorState广播

状态后端（State Backend）

MemoryStateBackend、FsStateBackend、RocksDBStateBackend的原理与选型。

状态一致性

Exactly-Once语义、Checkpointing机制、Barrier对齐原理。

一致性Checkpoint

Checkpoint配置实战

间隔、超时、并发数、外部化存储、非对齐Checkpoint。

Savepoint与恢复

Savepoint的触发、从Savepoint重启、状态迁移与兼容性。

Savepoint恢复

状态TTL（Time-To-Live）

状态过期策略、清理策略（Lazy、Full Snapshot、Incremental）。

Queryable State

可查询状态的原理、配置与客户端使用。

查询外部访问

状态分区与重分布

KeyBy与状态分配、Rescale与状态重分布、KeyGroup的概念。

RocksDB深度调优

内存配置、列族（Column Family）、写缓冲、Bloom过滤器。

增量Checkpoint

增量快照原理、RocksDB增量Checkpoint配置与监控。

状态后端性能对比

Memory vs FsState vs RocksDB的吞吐、延迟、稳定性对比。

大规模状态下的调优

状态分桶、异步快照、堆外内存、GC优化。

状态与容错

Task失败恢复、JobManager HA、Exactly-Once端到端保证。

状态与Watermark

事件时间处理、Watermark对齐、状态清理与延迟数据。

Watermark事件时间

Broadcast State模式

动态规则更新、配置热加载、模式切换实战。

广播动态规则

UnionListState与重分布

Operator State的扩缩容行为、Union模式与Even-split模式。

状态序列化

Kryo、Avro、Protobuf、自定义TypeInformation。

状态访问模式

同步访问、异步访问、Keyed State与Operator State的线程安全。

线程安全异步

状态监控与诊断

Web UI查看状态、Metrics监控、状态大小预估。

状态迁移与升级

状态Schema演进、兼容性检查、Savepoint迁移策略。

迁移Schema演进

Flink SQL中的状态管理

状态TTL配置、Retraction、Changelog流的状态。

DataStream API中的状态编程

RichFunction、RuntimeContext、状态描述符。

多流Join中的状态

Window Join、Interval Join、Temporal Join的状态管理。

复杂事件处理（CEP）中的状态

Pattern状态、超时处理、状态清理。

状态与批处理

DataSet API的状态、批流一体中的状态复用。

批处理DataSet

生产环境状态运维

状态迁移脚本、状态备份、状态恢复演练。

综合实战：实时UV统计系统

构建一个带状态的实时UV统计系统（含Checkpoint、状态TTL、RocksDB调优）。

实战UV全流程

专注课程资料整理