VIP20

本课程属于：003-实时流处理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink窗口聚合与迟到数据计算优化

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Flink窗口概述

为什么需要窗口、窗口的分类（时间窗口、计数窗口）、窗口的生命周期。

基础核心概念

滚动窗口（Tumbling Window）

原理与特点、DataStream API实现、SQL实现、应用场景与案例。

窗口类型API

滑动窗口（Sliding Window）

原理与特点、DataStream API实现、SQL实现、窗口大小与滑动步长设计。

窗口类型步长

会话窗口（Session Window）

原理与特点、DataStream API实现、SQL实现、会话超时时间设置。

窗口类型超时

全局窗口（Global Window）与自定义触发器

原理、自定义触发器实现、CountTrigger示例、应用场景。

高级触发器

窗口分配器（WindowAssigner）

内置分配器详解、自定义WindowAssigner、分配器与触发器配合。

分配器自定义

窗口函数（WindowFunction）

ReduceFunction、AggregateFunction、ProcessWindowFunction、增量聚合与全量聚合。

窗口触发器（Trigger）

内置触发器详解、自定义触发器、触发时机控制、Purge机制。

触发器时机

窗口驱逐器（Evictor）

内置驱逐器、自定义Evictor、驱逐器与触发器配合、性能影响。

驱逐器性能

窗口状态与状态后端

窗口状态存储、状态后端选择、状态TTL配置、状态大小监控。

窗口聚合函数详解

sum/min/max、avg、自定义UDAF、增量聚合优化。

窗口Join操作

窗口内Join、Interval Join、Window Join、Temporal Join。

窗口TopN实现

滑动窗口TopN、滚动窗口TopN、全局TopN、SQL实现。

窗口Cumulate（累积窗口）

原理与特点、DataStream API实现、SQL实现、应用场景。

迟到数据概念

事件时间与处理时间、Watermark机制、迟到数据定义、allowedLateness。

Watermark生成策略

周期性Watermark、间歇性Watermark、自定义WatermarkGenerator、空闲源处理。

Watermark生成

allowedLateness机制

原理与配置、侧输出（Side Output）收集迟到数据、迟到数据重处理。

延迟侧输出

侧输出（Side Output）详解

OutputTag定义、侧输出收集迟到数据、侧输出收集异常数据、多流合并。

侧输出多流

迟到数据处理策略

丢弃、重试、补偿、延迟触发、状态清理。

Watermark与Idle Source

空闲源问题、withIdleness配置、自定义空闲检测。

空闲Watermark

多Watermark对齐

多源Watermark对齐策略、Watermark传播、对齐性能影响。

窗口性能优化

并行度设置、预聚合优化、状态后端调优、内存管理。

窗口数据倾斜处理

Key倾斜检测、两阶段聚合、随机前缀打散、自定义分区器。

窗口Checkpoint与容错

Checkpoint原理、Exactly-Once语义、窗口状态恢复、Savepoint。

容错一致性

窗口监控与告警

窗口延迟监控、数据堆积告警、Watermark延迟告警、自定义Metrics。

SQL窗口聚合

TUMBLE、HOP、SESSION窗口函数、GROUPING SETS、ROLLUP、CUBE。

Table API窗口聚合

Table API窗口操作、窗口表值函数、窗口TVF聚合、窗口偏移。

窗口与CDC数据

CDC数据入窗口、延迟数据补偿、Exactly-Once写入、窗口数据一致性。

窗口实战案例1

实时订单统计（滚动窗口+迟到数据处理）、实时流量监控（滑动窗口+告警）。

窗口实战案例2

用户行为会话分析（会话窗口+侧输出）、实时排行榜（TopN+窗口+迟到数据）。