VIP20
本课程属于：050-多云数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Iceberg跨云数据湖架构与表格式管理

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
第1章
多云数据架构概述
为什么需要多云？数据孤岛与厂商锁定的挑战，构建弹性数据基础设施的驱动力。
架构多云
第2章
Iceberg表格式简介
Iceberg的核心设计理念与历史背景，从Netflix开源到社区驱动的演进之路。
基础历史
第3章
Iceberg的核心优势
快照隔离、时间旅行、Schema演化，为数据湖带来数据库级的可靠性。
特性时间旅行
第4章
Iceberg与Hive表的对比
为什么Iceberg更适合现代数据湖？性能、事务与元数据管理的全面超越。
对比Hive
第5章
Iceberg在多云中的角色
统一元数据层与跨云数据共享，打破云边界的数据联邦方案。
多云元数据
第6章
AWS上的Iceberg实践
使用AWS Glue、EMR与Athena构建高性能数据湖，集成最佳实践。
AWS实践
第7章
Azure上的Iceberg实践
使用Azure Synapse、HDInsight与ADLS实现企业级数据湖方案。
Azure实践
第8章
GCP上的Iceberg实践
使用Dataproc、BigQuery与GCS构建弹性数据分析平台。
GCP实践
第9章
跨云数据复制策略
基于Iceberg的增量同步与快照复制，实现低延迟跨云数据分发。
复制增量
第10章
Iceberg的存储后端抽象
支持S3、ADLS、GCS的统一接口，存储层无缝切换与迁移。
存储抽象
第11章
Iceberg的Catalog实现
Hive Metastore、AWS Glue Catalog、自定义Catalog选型与配置。
Catalog元数据
第12章
多云环境下的Catalog选型
集中式vs分布式Catalog的权衡，一致性、延迟与运维复杂度分析。
架构选型
第13章
Iceberg的ACID事务保障
在多云写入场景下的并发控制，乐观锁与快照隔离机制详解。
事务ACID
第14章
查询引擎兼容性
Spark、Flink、Trino、Presto集成细节，跨引擎查询一致性。
引擎兼容
第15章
跨云查询优化
数据本地性与计算下推，减少跨云数据传输开销的策略。
优化查询
第16章
Compaction机制
小文件合并与性能优化，自动化Compaction策略与调优参数。
性能合并
第17章
数据治理与审计
基于Iceberg的审计与血缘追踪，满足合规与监管要求。
治理审计
第18章
Iceberg的安全模型
列级权限与数据脱敏，细粒度访问控制实现方案。
安全权限
第19章
成本管理策略
跨云数据存储与传输的成本优化，分层存储与生命周期管理。
成本优化
第20章
Lakehouse架构落地
Iceberg与数据湖仓架构，Lakehouse理念在多云中的实践路径。
Lakehouse架构
第21章
案例：金融跨云灾备
某金融公司使用Iceberg实现跨云灾备，RTO/RPO优化经验分享。
案例灾备
第22章
案例：全球数据分发
某电商平台基于Iceberg的全球数据分发，低延迟多区域同步。
案例分发
第23章
监控与告警
关键指标与工具链，Prometheus/Grafana集成方案。
监控告警
第24章
版本升级策略
跨云环境下的兼容性管理，平滑升级与回滚方案。
升级兼容
第25章
Kafka实时入湖
Iceberg与Kafka集成，实时数据入湖的多云方案与Exactly-once语义。
实时Kafka
第26章
dbt数据建模
Iceberg与dbt集成，数据建模与转换的多云实践，CI/CD流水线。
dbt建模
第27章
性能基准测试
多云环境下的Iceberg性能基准测试，读写延迟与吞吐量对比。
性能基准
第28章
常见问题与排错
跨云读写冲突、元数据不一致等典型问题诊断与解决方案。
排错FAQ
第29章
未来展望
Iceberg在云原生数据网格中的角色，与Data Mesh理念的融合趋势。
展望数据网格
第30章
总结与最佳实践
构建多云数据平台的Iceberg路线图，架构决策与实施建议。
总结最佳实践