VIP20

本课程属于：035-Flink状态管理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

流批一体状态复用方案设计

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流批一体概述

流式计算与批处理的概念对比，Lambda架构的痛点分析，Kappa架构的演进逻辑，以及流批一体的核心价值与设计目标。

状态计算基础

有状态计算与无状态计算的区别，状态的定义与分类（Keyed State / Operator State），以及状态后端（State Backend）的选型策略。

Flink状态管理

Flink状态编程模型详解，ValueState / ListState / MapState 的实际使用，以及状态TTL与过期策略的配置方法。

状态复用设计原则

状态与业务逻辑的解耦设计，状态Schema版本管理策略，以及状态序列化与反序列化的最佳实践。

批处理状态复用

批处理如何复用流处理状态，Batch模式下的状态初始化流程，以及状态快照与恢复的技术细节。

批处理快照

状态复用核心模式

Read-Compute-Write模式详解，双流Join状态复用方案，以及维表关联状态复用的实现方式。

状态复用与容错

Checkpoint机制在复用场景下的适配，Savepoint与状态迁移策略，以及Exactly-Once语义的保障机制。

容错一致性

状态复用性能优化

状态访问模式优化（本地 vs 远程），RocksDB调优参数，以及状态分桶与预聚合技术。

状态复用实战案例

实时数仓中的状态复用场景，用户画像标签计算，以及累计UV / PV 复用计算的实现。

状态复用监控与治理

状态大小监控方法，状态热点检测技术，以及状态清理与回收策略。

流批一体架构演进

从Lambda到Kappa再到流批一体的架构演进，以及数据湖（Iceberg / Hudi）与状态复用的结合。

架构数据湖

状态复用与数据一致性

幂等写入策略，事务性输出保证，以及状态回滚与补偿机制的设计。

一致性事务

状态复用与多级存储

内存 + 磁盘 + 远程存储分层架构，冷热状态分离策略，以及状态分层访问优化。

状态复用与SQL化

Flink SQL中的状态复用机制，动态表与状态关联，以及CDC状态复用的实现。

状态复用与机器学习

在线学习模型状态复用，特征工程状态复用，以及模型增量更新策略。

状态复用与事件时间

Watermark与状态复用的关系，乱序数据处理方法，以及状态对齐策略。

事件时间Watermark

状态复用与多流关联

Interval Join状态复用，Window Join状态复用，以及Temporal Join状态复用的实现。

状态复用与窗口计算

滑动窗口状态复用，会话窗口状态复用，以及自定义窗口状态复用的设计。

状态复用与拓扑优化

算子链与状态复用的关系，状态分区优化策略，以及数据倾斜处理方法。

状态复用与资源管理

状态复用下的内存配置，CPU与IO资源隔离，以及动态资源调整策略。

状态复用与数据倾斜

Key倾斜导致的状态热点问题，Salting技术应用，以及动态重分区方案。

状态复用与增量Checkpoint

增量Checkpoint原理，状态复用下的增量快照实现，以及恢复时间优化。

Checkpoint增量

状态复用与多版本管理

状态Schema演进策略，状态版本兼容性处理，以及状态回滚到指定版本的方法。

状态复用与跨集群迁移

Savepoint跨集群迁移流程，状态复用下的数据一致性校验，以及迁移工具链的使用。

状态复用与实时数仓分层

ODS / DWD / DWS / ADS 各层状态复用设计，以及维度表状态复用的实现。

状态复用与复杂事件处理

CEP中的状态复用机制，模式匹配状态复用，以及超时状态处理方法。

CEP模式匹配

状态复用与流式ETL

清洗状态复用，转换状态复用，以及聚合状态复用的实现方式。

状态复用与数据湖集成

状态写入Iceberg的实现，状态复用与湖仓一体架构，以及批流统一存储方案。

数据湖Iceberg

状态复用与云原生

Kubernetes下的状态复用实践，Operator状态管理，以及弹性伸缩与状态迁移。

状态复用最佳实践与未来展望

设计模式总结，常见坑点分析，以及社区发展方向（Stateful Functions / 统一状态层）。

最佳实践展望