VIP20

本课程属于：017-Flink实时计算 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink集成Iceberg实时数仓构建

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时数仓概述

实时数仓与传统数仓的区别、Lambda架构与Kappa架构、实时数仓的应用场景。

Flink基础回顾

Flink核心概念（DataStream、算子、状态、时间语义）、Flink开发环境搭建。

Iceberg基础入门

Iceberg表格式简介、Iceberg核心特性（ACID、时间旅行、Schema演化）、Iceberg与Hive对比。

表格式特性

Flink集成Iceberg环境搭建

Flink与Iceberg版本兼容性、依赖引入、Catalog配置（Hive Catalog / Hadoop Catalog）。

Flink写入Iceberg表

DataStream写入Iceberg、Flink SQL写入Iceberg、写入参数调优（flush间隔、文件大小）。

Flink读取Iceberg表

DataStream读取Iceberg、Flink SQL读取Iceberg、流式读取与批式读取。

Iceberg表管理

分区策略、排序策略、隐藏分区、表属性配置。

实时数仓分层设计

ODS层设计、DWD层设计、DWS层设计、ADS层设计。

CDC数据接入

MySQL CDC（Flink-CDC）、Kafka数据接入、数据格式（Debezium JSON / Canal JSON）。

ODS层构建实战

从Kafka消费业务数据写入Iceberg ODS表、数据清洗与校验。

DWD层构建实战

ODS到DWD的ETL处理、维度退化、数据脱敏。

DWS层构建实战

DWD到DWS的聚合计算、窗口聚合（Tumble / Hop / Cumulate）、指标计算。

ADS层构建实战

DWS到ADS的最终输出、ClickHouse / MySQL Sink、数据服务化。

Iceberg时间旅行

Snapshot原理、基于时间戳查询历史数据、数据回滚与恢复。

时间旅行回滚

Iceberg Schema演化

增加/删除/重命名列、列类型变更、兼容性检查。

Iceberg分区演化

分区策略变更、数据重写（Rewrite）、分区裁剪优化。

Flink状态后端与Checkpoint

状态后端选择（RocksDB / Heap）、Checkpoint配置、端到端Exactly-Once语义。

状态Checkpoint

Flink与Iceberg的Exactly-Once保证

两阶段提交协议、Iceberg的Commit机制、故障恢复场景。

Exactly-Once事务

实时数仓数据质量监控

数据完整性校验、数据延迟监控、异常告警（Prometheus + Grafana）。

Iceberg表优化

小文件合并（Compaction）、数据排序优化（Z-order / Hilbert）、元数据优化。

Flink作业调优

并行度设置、算子链优化、背压处理、内存调优。

Iceberg与Hive集成

Hive查询Iceberg表、Hive与Flink的互操作性、分区兼容性。

实时数仓与数据湖

数据湖概念、Iceberg vs Delta Lake vs Hudi、选型建议。

数据湖对比

多流Join实战

Flink双流Join、维表Join（Async IO / Lookup Join）、Iceberg维表。

实时数仓权限管理

Iceberg的RBAC、Hive Metastore权限、数据脱敏策略。

Flink SQL Gateway与实时数仓

SQL Gateway部署、JDBC/ODBC连接、SQL作业提交与管理。

SQL Gateway部署

实时数仓监控与运维

Flink Web UI监控、Iceberg元数据查询、作业重启策略。

实时数仓案例实战（电商）

订单实时分析、用户行为轨迹、实时大屏。

实时数仓案例实战（金融）

交易风控、实时对账、反欺诈检测。

实时数仓总结与展望

实时数仓最佳实践、未来趋势（流批一体、Serverless）。