VIP20

本课程属于：017-Flink实时计算 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时湖仓一体：Flink与Lakehouse融合

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

湖仓一体概述

数据仓库与数据湖的演进 · Lakehouse架构定义 · 实时湖仓一体的核心价值

Flink基础回顾

Flink架构 · 时间语义 · 状态管理 · Checkpoint机制

Flink与Hadoop生态集成

Flink读写HDFS · Flink与Hive集成 · Flink on YARN/K8s部署

Apache Iceberg基础

Iceberg表格式 · ACID事务 · 快照隔离 · Time Travel

Flink与Iceberg集成

Flink CDC写入Iceberg · Flink流读Iceberg · Flink批读Iceberg

Apache Hudi基础

Hudi表类型（COW/MOR）· 索引机制 · 增量查询

Flink与Hudi集成

Flink SQL写入Hudi · Flink流读Hudi · Hudi与Flink状态后端

Delta Lake基础

Delta Lake事务日志 · Schema Evolution · 数据版本管理

Flink与Delta Lake集成

Flink写入Delta Lake · Flink读取Delta Lake · Checkpoint协同

DeltaCheckpoint

实时数据摄取

Kafka Connect与Flink CDC · Debezium与Flink集成 · Schema Registry管理

Flink SQL实时入湖

Flink SQL创建Catalog · DML写入Lakehouse · 动态表与连续查询

流式ETL与数据清洗

DataStream API实时清洗 · Flink SQL UDF/UDAF · 数据质量监控

实时数仓分层设计

ODS/DWD/DWS/ADS在Lakehouse中的实现 · Flink分层写入策略

Flink与Presto/Trino集成

Presto查询Iceberg表 · Presto查询Hudi表 · Presto联邦查询

Flink与Spark集成

Spark读取Flink写入的Lakehouse表 · Flink与Spark共享Catalog

实时指标计算

Flink窗口聚合 · TopN计算 · 实时去重（HyperLogLog/BloomFilter）

Flink与OLAP引擎集成

Flink写入ClickHouse · Flink写入Doris · Flink写入StarRocks

实时数据湖的Compaction策略

Iceberg的Compaction · Hudi的Clustering · Flink触发Compaction

CompactionClustering

Flink状态管理与Lakehouse一致性

端到端Exactly-Once语义 · 两阶段提交 · 事务性写入

Exactly-Once事务

实时数据回溯与Time Travel

Flink基于Snapshot读取 · 基于时间戳读取 · 数据回滚

Time Travel回滚

Flink与数据治理

数据血缘追踪 · 元数据管理（Atlas/DataHub）· 数据质量规则

Flink与流批一体

Flink批模式读取Lakehouse · 流模式读取Lakehouse · 同一SQL流批兼容

流批一体SQL

实时特征工程

Flink实时特征计算 · 特征存储到Lakehouse · 特征服务与在线推理

Flink与机器学习

Flink实时模型推理 · 与TensorFlow/PyTorch集成 · 特征平台建设

Flink与数据湖安全

Flink写入权限控制 · 数据脱敏 · 审计日志

Flink与多模态数据

处理结构化/半结构化/非结构化数据 · Flink与Elasticsearch集成

Flink与实时数据湖监控

Flink Metrics监控 · Lakehouse表健康检查 · 告警与自愈

Flink与云原生Lakehouse

Flink on Kubernetes · 对象存储（S3/OSS）集成 · 存算分离架构

K8s存算分离

Flink与实时数据湖性能调优

Flink并行度调优 · Iceberg/Hudi写入调优 · Flink内存调优

调优并行度

综合实战：实时用户行为分析平台

从Kafka到Flink到Iceberg到Presto的全链路实现

实战全链路