VIP20
本课程属于：049-实时数据产品化 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Iceberg 与 Delta Lake 选型

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据湖技术概览
数据湖的演进历史、为什么需要Iceberg和Delta Lake、两大技术的核心定位对比。
演进定位
02
Apache Iceberg核心概念
表格式定义、快照机制、分区演进、隐藏分区。
快照分区演进
03
Delta Lake核心概念
事务日志、ACID事务、Schema演进、时间旅行。
事务日志时间旅行
04
性能对比
查询性能、写入性能、小文件合并策略、Z-Order排序。
查询Z-Order
05
生态集成
Spark集成、Flink集成、Trino/Presto集成、Hive集成。
SparkFlinkTrino
06
数据治理能力
Schema变更兼容性、数据版本管理、数据回滚、数据清理。
Schema演进回滚
07
实时场景支持
流式写入、CDC接入、增量查询、Merge Into语义。
流式CDCMerge Into
08
云原生适配
对象存储兼容性、文件格式优化、缓存策略、成本对比。
对象存储成本
09
选型决策框架
技术团队能力评估、业务场景匹配、迁移成本、社区活跃度。
决策迁移成本
10
实战案例：Hive迁移至Iceberg
某电商平台从Hive迁移至Iceberg的完整过程。
电商迁移
11
实战案例：Delta Lake实时数仓
某金融公司基于Delta Lake构建实时数仓。
金融实时数仓
12
Iceberg高级特性
分支与标签、视图、存储过程、元数据表。
分支视图
13
Delta Lake高级特性
动态分区覆盖、生成列、约束检查、Change Data Feed。
动态分区CDF
14
文件布局优化
Iceberg的排序与分布、Delta Lake的Z-Order与Bloom Filter。
排序Bloom Filter
15
并发控制机制
Iceberg的乐观锁、Delta Lake的悲观锁、冲突处理策略。
乐观锁悲观锁
16
数据质量保障
Iceberg的校验规则、Delta Lake的约束与检查、数据完整性对比。
校验约束
17
监控与运维
元数据管理、性能监控、告警设置、日常维护操作。
监控运维
18
安全与权限
表级权限、列级权限、行级过滤、审计日志。
权限审计
19
多引擎协同
同一张表同时被Spark和Flink读写、一致性保障。
SparkFlink一致性
20
数据湖仓一体
Iceberg与Delta Lake在Lakehouse架构中的角色。
Lakehouse架构
21
迁移工具与策略
从Hive迁移、从Parquet迁移、从其他表格式迁移。
迁移工具
22
成本优化
存储成本、计算成本、元数据开销、小文件治理成本。
成本小文件
23
社区与生态
Apache Iceberg社区、Delta Lake社区、商业支持、版本演进。
社区商业支持
24
未来趋势
两大技术的路线图、新兴竞争者、行业标准演进。
路线图趋势
25
选型清单
技术特性对比表、适用场景矩阵、决策树。
对比表决策树
26
Iceberg最佳实践
分区策略、文件大小控制、快照管理。
分区快照管理
27
Delta Lake最佳实践
事务管理、Schema演进、数据保留策略。
事务保留策略
28
混合架构探索
同时使用Iceberg和Delta Lake的场景、数据同步方案。
混合同步
29
性能调优实战
Spark参数调优、文件大小调优、查询优化器选择。
调优Spark
30
总结与展望
选型建议、学习路径、社区资源推荐。
总结学习路径