VIP20

本课程属于：017-Flink实时计算 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

基于Flink的Lakehouse实时入湖方案

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

课程导学与Lakehouse前世今生

从数据仓库到数据湖再到Lakehouse的演进之路，理解实时入湖的核心驱动力。

实时入湖技术选型

Flink CDC、Kafka Connect、Spark Streaming对比，为什么Flink是首选？

Flink on YARN/K8s集群搭建、Hadoop/Hive/MetaStore部署、MinIO/S3对象存储配置。

Checkpoint、Savepoint、State、Watermark在入湖场景下的作用与配置要点。

数据源接入（一）

MySQL Binlog实时采集——Flink CDC Connector原理与配置详解。

数据源接入（二）

Kafka消息队列实时消费——Flink Kafka Consumer参数调优与offset管理。

数据源接入（三）

PostgreSQL逻辑复制与Oracle LogMiner实战，异构数据源接入方案。

PostgreSQLOracle

数据格式与序列化

Avro、Parquet、ORC选型对比，Schema Registry集成与兼容性管理。

格式序列化

实时ETL（一）

数据清洗与字段映射——使用Flink SQL进行简单的Transform与过滤。

实时ETL（二）

多流Join与维表关联——Lookup Join与Temporal Join实战。

实时ETL（三）

复杂事件处理（CEP）在入湖前的数据质量校验与异常检测。

Lakehouse存储层：Iceberg

Apache Iceberg核心概念——Snapshot、Manifest、Metadata文件结构。

Lakehouse存储层：Hudi

Apache Hudi核心概念——Copy-on-Write与Merge-on-Read表类型。

Lakehouse存储层：Delta Lake

Delta Lake核心概念——Transaction Log与Time Travel时间旅行。

写入Iceberg（一）

Flink Iceberg Sink配置与参数详解，写Parquet、分区策略。

写入Iceberg（二）

实时入湖的Exactly-Once语义保证——两阶段提交协议实现。

Exactly-Once2PC

写入Hudi（一）

Flink Hudi Sink配置——Bulk Insert与Delta Streamer模式选择。

写入Hudi（二）

Clustering与Compaction——解决小文件问题，提升查询性能。

小文件优化

写入Delta Lake

Flink Delta Lake Connector使用与事务冲突处理策略。

Schema Evolution

优雅处理源端表结构变更（加列、减列、改类型），保持入湖稳定性。

数据分区与布局优化

时间分区、桶分区、Z-Order排序在入湖时的最佳实践。

实时入湖监控与告警

Flink Metrics、Prometheus + Grafana监控入湖延迟与数据量。

数据回溯与补偿机制

基于Savepoint的重新消费与数据修复策略，保障数据一致性。

多表入湖与整库同步

Flink CDC整库同步方案（MySQL -> Iceberg/Hudi）实现。

入湖后的数据查询

Trino/Presto、Spark SQL、Flink SQL查询Lakehouse数据。

性能调优（一）

Flink算子链、并行度、Buffer Timeout对入湖吞吐的影响。

性能调优（二）

对象存储（S3/MinIO）写入性能优化——多线程上传与分段上传。

安全与权限

Lakehouse数据加密、Flink SQL RBAC、Kerberos认证集成。

生产案例（一）

某电商平台订单实时入湖——从MySQL到Iceberg的全链路实战。

生产案例（二）

某物联网平台传感器数据入湖——Kafka到Hudi的高吞吐方案。

物联网高吞吐