VIP9

本课程属于：016-Spark、Lakehouse与Databricks工程 后端、数据与云原生工程 · 共 9 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Iceberg 数据湖核心机制

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Iceberg前世今生

数据湖的演进脉络，为什么需要Iceberg，以及其核心设计理念与定位。

演进设计理念

表格式规范

清单层、元数据层、数据层三层架构详解，理解Iceberg的存储基石。

三层架构元数据

快照与版本管理

快照隔离、时间旅行、增量读取的核心原理，实现数据版本自由穿梭。

时间旅行增量读取

ACID事务机制

提交协议、冲突解决、乐观锁并发控制，保障数据一致性。

乐观锁冲突解决

分区与排序

隐藏分区、分区变换、排序优化与文件裁剪，提升查询性能。

隐藏分区文件裁剪

文件格式与压缩

Avro/Parquet/ORC支持、压缩策略与列式存储优势分析。

Parquet列式存储

Catalog与元数据管理

Hive Metastore、REST Catalog、JDBC Catalog对比与选型。

表维护与优化

Compaction、过期快照清理、元数据垃圾回收，保持表健康。

Compaction垃圾回收

流批一体架构

Flink/Spark集成、实时写入、CDC入湖，统一流批处理。

查询引擎集成

Trino/Presto、Spark SQL、Hive查询优化与性能加速。

列添加/删除/重命名、类型变更、嵌套结构变更，灵活演化。

列演进嵌套结构

数据安全与权限

列级安全、行级过滤、与Ranger/Atlas集成管控。

列级安全Ranger

文件大小调优、并行度设置、谓词下推、统计信息利用。

谓词下推并行度

监控与可观测性

Metrics报告、审计日志、慢查询诊断，全面可观测。

多表事务与一致性

跨表原子操作、分布式事务挑战与解决方案。

跨表事务分布式

数据质量与校验

约束定义、数据校验、异常处理机制，保障数据质量。

云原生部署

AWS S3、阿里云OSS、腾讯云COS适配与最佳实践。

Schema Registry、Avro序列化、Exactly-Once语义实现。

Schema RegistryExactly-Once

数据湖仓一体

与Delta Lake、Hudi对比分析，技术选型参考。

版本升级与迁移

从Hive表迁移、跨版本升级策略与平滑过渡。

Hive迁移升级

高级分区策略

基于时间、枚举、自定义分区函数，灵活数据组织。

时间分区自定义

物化视图与预计算

增量刷新、查询加速，预计算提升分析效率。

物化视图预计算

数据生命周期管理

冷热分层、自动归档、过期删除，降低存储成本。

冷热分层归档

多集群架构

跨DC复制、灾备方案、读写分离，高可用部署。

灾备读写分离

机器学习场景

特征存储、训练数据版本管理，支撑ML工作流。

特征存储版本管理

实时数仓构建

Kafka+Iceberg+Flink实时链路，构建实时数仓。

实时数仓Flink

数据湖安全最佳实践

加密、审计、合规，全方位安全防护。

故障排查与诊断

常见错误、日志分析、性能瓶颈定位与解决。

日志分析瓶颈定位

社区与生态

贡献指南、Roadmap、关键RFC解读，参与社区。

某大型企业从Hive迁移至Iceberg的全过程与经验总结。

迁移实战企业案例

专注课程资料整理