VIP20

本课程属于：003-实时流处理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink SQL实时计算与数仓应用开发

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Flink SQL 前世今生

流式计算概念、Flink 发展史、Flink SQL 定位与优势、课程整体大纲介绍。

环境准备与初体验

本地 Standalone 集群搭建、Flink SQL Client 启动、第一个 SELECT 'Hello Flink' 查询。

SQL 客户端与编程模型

SQL Client 模式、Table API 与 SQL 的关系、编程模型（Source-Transform-Sink）。

动态表与连续查询

动态表概念、连续查询原理、流式 SQL 与传统 SQL 的区别。

时间属性与水位线

Event Time、Processing Time、Ingestion Time 区别、水位线（Watermark）原理与设置。

时间水位线

CREATE TABLE DDL 详解

连接器（Connector）概念、WITH 参数、常见 Connector（Kafka、File、JDBC）。

Kafka 连接器实战

Kafka Source/Sink 配置、消息格式（JSON/CSV/Avro）、起始消费位置设置。

文件系统连接器

FileSystem Connector 读写、CSV/JSON 格式、分区目录发现。

JDBC 连接器与维表关联

JDBC Source/Sink、JDBC Lookup 维表、实时关联用户画像。

数据类型与内置函数

Flink SQL 数据类型、标量函数、聚合函数、时间函数、条件函数。

SELECT 查询与过滤

基础查询、WHERE 条件、DISTINCT、CASE WHEN、列裁剪与别名。

聚合操作与分组统计

GROUP BY 聚合、HAVING 过滤、COUNT/SUM/AVG/MIN/MAX 实战。

窗口聚合（Tumble/Hop/Cumulate）

滚动窗口、滑动窗口、累积窗口定义与 SQL 写法。

Over 窗口与排名分析

Over 窗口语法、ROW_NUMBER、RANK、DENSE_RANK 排序函数。

多表关联（Join）

Regular Join、Interval Join、Temporal Join 原理与场景。

双流 Join 实战

订单流与支付流关联、迟到数据处理、状态清理配置。

维表关联（Lookup Join）

实时维表关联、缓存策略、异步查询优化。

集合操作与子查询

UNION ALL、INTERSECT、EXCEPT、IN/NOT IN 子查询、EXISTS。

集合子查询

Top-N 与去重

Top-N 语法、去重（Deduplication）、保留最新/最早记录。

窗口表值函数（Windowing TVF）

TUMBLE/HOP/CUMULATE 函数、窗口偏移与时区。

自定义函数（UDF/UDAF/UDTF）

注册临时/永久函数、标量函数、聚合函数、表值函数开发。

Python UDF 开发

Python 自定义函数、PyFlink 环境、注册与调用。

Format 与序列化

JSON Format、CSV Format、Avro Format、Changelog 格式。

格式序列化

CDC 数据接入（Debezium）

MySQL CDC 原理、Flink CDC Connector、实时同步 Binlog。

状态管理与容错

状态后端（Memory/Fs/RocksDB）、Checkpoint 配置、Exactly-Once 语义。

SQL 调优与最佳实践

并行度设置、MiniBatch 聚合、LocalGlobal 优化、数据倾斜处理。

Flink SQL Gateway 与 REST API

SQL Gateway 部署、提交 SQL、获取结果。

Flink SQL 与 Catalog

Hive Catalog、自定义 Catalog、元数据统一管理。

Catalog元数据

实时数仓架构实战

ODS-DWD-DWS-ADS 分层、SQL 实现 ETL、数据湖集成（Hudi/Iceberg）。

综合案例：实时订单统计大屏

需求分析、SQL 实现、Kafka 写入、MySQL 维表关联、结果展示。