VIP20

本课程属于：002-数据湖仓平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据湖仓ACID事务实现

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据湖仓概述

从数据仓库到数据湖再到湖仓一体，ACID事务为何成为刚需。

ACID事务基础

原子性、一致性、隔离性、持久性的定义与在分布式系统中的挑战。

理论分布式

Apache Iceberg核心原理

表格式、快照隔离、元数据层设计。

表格式快照

Apache Hudi核心原理

Copy-on-Write与Merge-on-Read、索引机制、时间线服务。

写入模式索引

Delta Lake核心原理

事务日志、版本控制、Schema演进与约束。

事务隔离级别实现

Serializable、Snapshot Isolation在湖仓中的具体实现。

并发控制机制

乐观锁与悲观锁在数据湖仓中的应用场景。

写冲突解决策略

冲突检测、冲突解决、重试机制。

元数据事务管理

元数据原子更新、多版本元数据、元数据垃圾回收。

文件级事务实现

文件添加、删除、替换的原子操作。

文件原子性

分区事务管理

分区级别的ACID保证与分区裁剪优化。

跨表事务与多表一致性

分布式事务协调器、两阶段提交在湖仓中的实践。

时间旅行与数据版本控制

基于快照的查询、回滚与审计。

增量查询与流式处理

Change Data Capture、增量读取、流批一体。

Schema演化与兼容性

列添加、删除、重命名、类型变更的事务性保证。

数据压缩与清理事务

小文件合并、过期快照清理的事务性操作。

事务日志存储与高可用

日志存储后端（HDFS、S3、Kafka）、日志复制与容错。

日志高可用

Catalyst优化器与事务集成

Spark SQL如何利用事务元数据优化查询计划。

事务性能优化

写入吞吐量优化、读取延迟优化、元数据缓存策略。

湖仓事务监控与诊断

事务延迟监控、冲突率统计、健康检查。

安全与权限模型中的事务

行级安全、列级安全在事务中的实现。

多云与混合云事务

跨云数据一致性、网络延迟对事务的影响。

多云一致性

非结构化数据的事务支持

图片、视频、文档等非结构化数据的ACID探索。

非结构化探索

实时数仓与湖仓事务

Flink与Iceberg/Hudi/Delta的精确一次语义。

Flink精确一次

事务回滚与灾难恢复

回滚机制、数据恢复点目标（RPO）与恢复时间目标（RTO）。

湖仓事务基准测试

TPC-DS、TPC-H在事务场景下的测试方法与结果分析。

开源框架对比

Iceberg vs Hudi vs Delta Lake事务特性深度对比。

企业级湖仓事务最佳实践

金融、电商、物联网场景下的架构设计。

Serverless湖仓事务、AI驱动的优化、事务标准化的演进。

趋势Serverless

构建一个支持ACID事务的实时数据湖仓平台。