VIP20

本课程属于：044-实时数仓建设 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink实时数仓状态管理与容错

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Flink状态管理概述

什么是状态、为什么需要状态管理、有状态计算与无状态计算的区别。

Flink状态类型详解

Keyed State与Operator State的区别与适用场景。

单值状态的使用场景、API详解与实战案例。

列表状态的使用场景、API详解与实战案例。

映射状态的使用场景、API详解与实战案例。

ReducingState与AggregatingState

聚合状态的使用场景与性能对比。

广播状态(BroadcastState)与列表状态(ListState)的实战应用。

状态后端(State Backend)

MemoryStateBackend、FsStateBackend、RocksDBStateBackend的原理与选型。

RocksDB深度解析

RocksDB的LSM-Tree结构、内存管理、性能调优参数。

状态后端配置实战

如何在Flink集群中配置和切换状态后端。

状态TTL(Time-To-Live)

状态过期策略、配置方式与清理机制。

状态一致性语义

Exactly-Once、At-Least-Once、At-Most-Once的原理与实现。

一致性语义

Checkpoint机制详解

Checkpoint的执行流程、Barrier对齐、对齐超时。

Savepoint机制详解

Savepoint与Checkpoint的区别、手动触发与恢复。

Checkpoint配置实战

间隔时间、超时时间、并发数、容忍失败次数等参数调优。

状态恢复与故障转移

从Checkpoint/Savepoint恢复、Task Failover策略。

增量Checkpoint

原理、配置与RocksDB增量Checkpoint实战。

状态分区与Key Group

Key Group的概念、状态如何分布到TaskManager。

状态缩放(State Rescaling)

并行度改变时的状态重分布机制。

弹性重分布

Queryable State

可查询状态的原理、配置与客户端使用。

状态后端监控

RocksDB指标监控、Checkpoint监控、状态大小监控。

状态性能优化

序列化优化、状态访问模式优化、RocksDB参数调优。

大状态处理策略

RocksDB的异步线程、内存控制、磁盘IO优化。

状态后端迁移

从Memory迁移到RocksDB、从RocksDB迁移到FsStateBackend。

多租户状态隔离

不同作业的状态隔离策略、资源隔离与命名空间。

多租户隔离

状态版本管理

状态Schema演进、状态兼容性处理、状态迁移工具。

Flink SQL中的状态管理

SQL作业的状态配置、TTL设置、状态调优。

实时数仓中的状态设计模式

维表关联状态、窗口聚合状态、双流Join状态。

设计模式数仓

状态安全与权限控制

状态访问控制、状态加密、敏感数据脱敏。

状态管理最佳实践

常见坑点、性能调优清单、生产环境配置推荐。

最佳实践总结