VIP20

本课程属于：002-数据湖仓平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Hudi实战ACID事务管理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Hudi前世今生

数据湖概念、Hudi起源与定位、Hudi vs Delta Lake vs Iceberg。

数据湖对比

Copy-on-Write vs Merge-on-Read、Timeline架构、FileGroup与FileSlice。

存储模型架构

事务的ACID特性、Hudi如何实现原子性与隔离性、乐观锁机制。

事务乐观锁

upsert流程详解、commit与instant机制、写冲突处理。

Snapshot查询、Incremental查询、Read Optimized查询。

查询模式快照

事务隔离级别

Snapshot Isolation原理、MVCC实现、并发控制策略。

Compaction机制

Compaction触发条件、Compaction策略配置、异步Compaction实战。

Clustering服务

数据布局优化、Clustering策略、与Compaction的区别。

布局优化策略

Hive Metastore集成、同步模式配置、分区同步问题排查。

DataFrame写入Hudi、Bulk Insert模式、Delta Streamer使用。

Flink SQL写入、CDC入湖、Exactly-Once语义保证。

Presto/Trino查询

查询引擎配置、性能调优、时间旅行查询。

Presto时间旅行

事务日志管理

Timeline日志清理策略、归档机制、日志保留时长配置。

Bloom Filter索引、Global vs Local索引、索引性能对比。

Schema兼容性规则、字段增删改、Schema变更实战。

小文件问题

小文件产生原因、自动合并策略、Clustering vs Compaction。

小文件合并

数据版本管理

版本保留策略、Rollback机制、Savepoint使用。

写入并行度、内存配置、文件大小调优。

监控与告警

关键指标采集、Grafana面板、常见异常处理。

跨表一致性、分布式事务挑战、Hudi的解决方案。

多表分布式

Rollback操作详解、回滚对查询的影响、回滚失败处理。

Incremental Pull模式、Change Data Capture、流批一体实践。

数据校验机制、Bad Record处理、数据修复工具。

安全与权限

表级权限控制、数据加密、审计日志。

云原生部署

AWS S3集成、EMR配置、Kubernetes部署。

批量删除、部分更新、预合并模式。

Time Travel、Metadata Table、File Listing优化。

查询元数据

从Hive迁移到Hudi、从Kafka入湖、历史数据回填。

表设计规范、分区策略、生命周期管理。

常见错误码、日志分析、社区资源利用。