VIP20

本课程属于：017-Flink实时计算 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink与Delta Lake实时分析实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

课程导学与前置准备

Flink与Delta Lake概述、课程目标、环境搭建（JDK、Maven、IDE）、数据源准备。

Flink核心概念速览

DataStream API、Table API、时间语义、状态后端、Checkpoint机制。

DataStream状态

Delta Lake核心概念速览

事务日志、时间旅行、Schema演进、Z-Order优化、Delta Sharing。

事务日志时间旅行

Flink与Delta Lake集成原理

Delta Connector、Sink与Source、Exactly-Once语义保证、并行度调优。

集成Exactly-Once

环境搭建实战

本地模式安装Flink、启动Delta Lake（Spark + Delta）、配置Hadoop依赖、验证连通性。

第一个实时管道

Flink读取Kafka数据流，写入Delta Lake表，验证数据落地。

实时数据写入优化

小文件合并策略、Delta自动优化（Auto Optimize）、Flink批量提交配置。

小文件Auto Optimize

Schema演进实战

新增列、修改列类型、删除列，Flink与Delta的兼容性处理。

Schema演进兼容性

时间旅行与数据回溯

Flink读取Delta历史版本、基于时间戳查询、数据回滚场景。

时间旅行回滚

CDC数据入湖

使用Flink CDC（Debezium）捕获MySQL变更，写入Delta Lake。

实时ETL清洗

Flink对JSON/CSV数据进行解析、过滤、转换，写入Delta分区表。

流表Join实战

Flink双流Join、流与维表Join（Redis/MySQL），结果写入Delta。

双流Join维表

窗口聚合分析

Flink滚动窗口、滑动窗口、会话窗口，聚合结果写入Delta。

实时指标计算

使用Flink计算PV/UV、去重计数（HyperLogLog）、TopN，结果入Delta。

PV/UVHyperLogLog

Delta表增量读取

Flink以Streaming方式读取Delta增量数据，实现近实时分析。

增量读取Streaming

Flink Table API与Delta

使用Flink SQL创建Delta表、执行DML操作、批流一体查询。

Flink Catalog集成

将Delta Lake注册为Flink Catalog，统一元数据管理。

Catalog元数据

状态后端与Delta Checkpoint

将Flink Checkpoint存储到Delta Lake，实现状态持久化。

Checkpoint状态后端

性能调优实战

Flink并行度设置、Delta文件大小控制、数据倾斜处理、内存调优。

并行度数据倾斜

监控与告警

Flink Metrics监控、Delta表统计信息收集、Prometheus + Grafana集成。

数据质量保障

Flink端到端延迟监控、Delta数据完整性校验、异常数据处理策略。

数据质量延迟监控

多表关联与物化视图

Flink实时关联多张Delta表，构建实时物化视图。

物化视图多表关联

实时数仓分层

ODS/DWD/DWS/ADS分层设计，Flink写入对应Delta层。

数仓分层ODS

Delta Sharing实时分发

使用Delta Sharing将实时数据共享给其他系统（Presto/Spark）。

Delta Sharing分发

Flink与Delta on Kubernetes

容器化部署Flink作业，Delta表存储在对象存储（S3/MinIO）。

Kubernetes对象存储

大规模数据写入优化

批量写入、异步写入、缓冲区调优、避免OOM。

批量写入OOM

故障恢复与容错

Flink作业重启策略、Delta事务回滚、Checkpoint恢复实战。

容错重启策略

实战项目一：实时用户行为分析

点击流从Kafka到Delta，输出实时看板。

点击流看板

实战项目二：实时订单数据仓库

CDC入湖 + 多流Join + 实时聚合。

订单实时数仓

课程总结与进阶方向

Flink + Delta Lake最佳实践、社区生态、未来趋势（Iceberg对比）。

专注课程资料整理