VIP20

本课程属于：044-实时数仓建设 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink实时宽表关联查询与低延迟优化

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

宽表设计哲学

为什么需要宽表？宽表 vs 星型模型 vs 雪花模型，适用场景与反模式深度剖析。

建模反模式

实时数仓架构演进

Lambda、Kappa、流批一体，实时宽表在架构中的核心定位与数据流转。

架构流批一体

Flink SQL 基础回顾

动态表、连续查询、时间属性（Processing / Event Time），为宽表Join夯实基础。

Flink时间属性

双流Join的痛点

State膨胀、TTL策略、OOM避坑指南，双流Join实战难题拆解。

维表Join优化

Async IO原理、LRU/TTL缓存、HBase/Redis维表性能调优全解析。

MiniBatch与微批处理

减少频繁状态访问，参数调优：table.exec.mini-batch.enabled 实战。

LocalGlobal聚合优化

两阶段聚合原理，解决数据倾斜，大幅提升宽表聚合性能。

Distinct Count优化

Bitmap精确去重 vs HyperLogLog近似去重，宽表场景选型指南。

数据倾斜实战

KeyBy/窗口/Join倾斜定位，加盐、打散、二次聚合解决方案。

State Backend选型

RocksDB vs Heap，大状态性能对比与配置调优核心策略。

RocksDB大状态

Checkpoint与Savepoint

间隔影响、增量Checkpoint、大状态恢复优化，保障容错性能。

Flink SQL Lookup Join

缓存失效问题，实时维表更新处理方案，高并发下稳定Join。

Temporal Join（时态Join）

版本表 vs 普通表，用Temporal Join实现拉链表与版本关联。

时态拉链表

Interval Join（区间Join）

基于时间窗口的Join，乱序处理与水位线（Watermark）设置。

窗口Watermark

Regular Join（普通Join）

Retract模式数据流，Exactly-Once语义保证与实现细节。

RetractExactly-Once

CDC数据同步

Debezium + Kafka Connect，CDC入宽表延迟控制与一致性保证。

Kafka消息队列优化

分区数、消息大小、Ack机制对实时宽表延迟的深度影响。

数据湖（Iceberg/Hudi）与宽表

实时写入数据湖，Merge-on-Read vs Copy-on-Write性能对比。

数据湖Iceberg

OLAP引擎查询加速

ClickHouse / Doris物化视图，预聚合加速宽表查询。

OLAP物化视图

二级索引、布隆过滤器、ZoneMap在宽表查询中的应用。

索引BloomFilter

SQL Hints与优化器

Flink Optimizer原理，Hints强制Join顺序、Shuffle策略。

算子链与Task Slot

算子链合并原则，Slot数量对并行度影响，避免资源浪费。

网络与序列化

Kryo vs Avro vs Protobuf，序列化对吞吐量影响及网络缓冲区调优。

序列化吞吐

Managed/Network/Heap Memory分配，OOM排查与调优实战。

反压（Backpressure）排查

反压产生原因，Web UI监控指标，定位瓶颈节点方法。

全链路延迟分析

Source到Sink延迟拆解，用Metrics定位慢算子。

监控与告警

Prometheus + Grafana监控Flink作业，关键指标详解。

PrometheusGrafana

灰度发布与回滚

版本管理、Savepoint回滚策略、AB测试方案。

生产案例一：电商大屏

某电商实时大屏宽表，从秒级延迟优化到毫秒级实战。

生产案例二：金融风控

某金融风控宽表，解决数据倾斜与状态爆炸完整过程。