VIP12
本课程属于：040-金融湖仓与列式数据工程 智能金融与金融工程 · 共 12 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Flink与Iceberg实时湖仓工程实战

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=实时湖仓概念 · Flink与Iceberg技术定位 · 课程目标
课程导入目标=实时湖仓概…
02
数据湖与湖仓一体基础
目标=数据湖演进 · 湖仓一体架构 · 实时湖仓核心价值
数据湖湖仓一体基础
03
Flink核心基础
目标=Flink架构 · DataStream API · Table API & SQL
Flink核心基础
04
Iceberg核心基础
目标=Iceberg表格式 · 元数据层 · 快照与清单文件
Iceberg核心基础
05
Flink与Iceberg集成原理
目标=Flink Iceberg C… · 流式写入机制 · 两阶段提交
FlinkIceberg
06
环境搭建与快速入门
目标=Flink集群部署 · Iceberg Catalog配置 · Hadoop/Hive Metast…
环境搭建快速入门
07
Iceberg表设计与建模
目标=表结构设计 · 分区策略 · 排序策略
Iceberg表设计
08
Flink实时写入Iceberg
目标=DataStream写入 · SQL写入 · Upsert模式
FlinkIceberg
09
实时湖仓数据读取与查询
目标=Flink批读与流读 · Iceberg增量读取 · 快照查询
实时湖仓数据读取查询
10
CDC与实时入湖实战
目标=MySQL CDC · PostgreSQL CDC · Kafka数据接入
CDC实时入湖实战
11
Iceberg表维护与治理
目标=快照管理 · 过期快照清理 · 孤儿文件清理
Iceberg表维护
12
实时湖仓分层建模实战
目标=ODS · DWD · DWS
实时湖仓分层建模…ODS
13
Flink SQL在实时湖仓中的应用
目标=DDL建表 · DML写入 · 窗口聚合
FlinkSQL
14
Iceberg高级特性实战
目标=分区演进 · Schema演进 · 分支与标签
Iceberg高级特性实战
15
实时湖仓性能优化
目标=Flink并行度与资源调优 · Iceberg写入吞吐优化 · 文件大小控制
实时湖仓性能优化Flink
16
容错与一致性保障
目标=Checkpoint与Save… · 两阶段提交 · 故障恢复
容错一致性保障
17
元数据与Catalog管理
目标=Hive Metastore · REST Catalog · JDBC Catalog
Catalog元数据
18
实时湖仓监控与运维
目标=Flink作业监控 · Iceberg表健康检查 · 指标采集
实时湖仓监控运维
19
综合项目一
目标=Kafka到Iceberg实时… · 架构设计 · 数据建模
综合项目一Kafka
20
综合项目二
目标=MySQL CDC整库同步到I… · Schema变更处理 · 数据去重
综合项目二MySQL
21
综合项目三
目标=实时数仓指标计算：多源数据接入 · 流式分层建模 · 窗口聚合
综合项目三目标=实时数仓指…
22
常见问题与解决方案
目标=数据重复与丢失 · 小文件过多 · 写入性能瓶颈
常见问题解决方案
23
Flink与Iceberg生态集成
目标=Spark · Trino · Presto
FlinkIceberg
24
云原生与生产部署
目标=Kubernetes部署Fli… · 对象存储S3/HDFS · 云上Iceberg Catalog
云原生生产部署
25
数据安全与权限控制
目标=认证授权 · Kerberos · Ranger
数据安全权限控制
26
实时湖仓数据质量
目标=数据校验 · 一致性检查 · 质量监控
实时湖仓数据质量目标=数据校验
27
进阶架构模式
目标=Lambda与Kappa架构对… · 流批一体 · 实时湖仓与数据网格
进阶架构模式Lambda
28
性能压测与基准对比
目标=Flink写入Iceberg压… · 不同文件格式与压缩算法对比 · 查询引擎性能基准测试
性能压测基准对比
29
课程总结与知识体系梳理
目标=核心知识点回顾 · 实战经验总结 · 常见误区
课程总结知识体系梳理
30
综合能力提升与认证准备
目标=架构设计能力 · 调优能力 · 故障排查能力
综合能力提升认证准备