VIP20

本课程属于：026-数据湖治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据湖分区规划从入门到精通监控与故障排查

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据湖概述

什么是数据湖、数据湖与数据仓库的区别、数据湖的核心价值与挑战。

分区规划基础

分区概念、分区的好处、分区的代价、何时该分区。

分区策略设计

时间分区、范围分区、哈希分区、列表分区、组合分区。

Hive分区实战

Hive分区表创建、静态分区与动态分区、分区字段选择原则。

Hive分区管理

添加分区、删除分区、修复分区(MSCK)、分区剪枝优化。

Spark分区读写

Spark读取分区表、Spark写入分区表、动态分区写入、分区覆盖模式。

Spark分区优化

分区倾斜处理、小文件问题、AQE与动态分区合并、分区裁剪。

Iceberg分区演进

Iceberg分区概念、隐藏分区、分区变换、分区演进实战。

Iceberg分区管理

分区策略变更、分区数据重写、分区统计信息、分区与快照。

Hudi分区策略

Hudi分区类型、分区与Clustering、分区与Compaction、分区与索引。

Delta Lake分区

Delta分区表、分区与Z-Order、分区与Optimize、分区与时间旅行。

文件格式与分区

Parquet与分区、ORC与分区、Avro与分区、列式存储与分区裁剪。

分区键选择

高基数分区键、低基数分区键、复合分区键、分区键对查询的影响。

分区粒度设计

天分区、小时分区、分钟分区、分区粒度的权衡、分区数量控制。

分区与数据布局

分区与数据本地性、分区与数据倾斜、分区与存储成本。

分区与元数据管理

Hive Metastore、AWS Glue Catalog、分区元数据膨胀问题。

元数据管理

分区与权限管理

分区级权限控制、分区与数据脱敏、分区与审计。

分区与生命周期管理

分区TTL、分区归档、分区删除策略、冷热数据分层。

生命周期治理

分区与数据质量

分区级数据校验、分区级数据回溯、分区级数据修复。

分区与增量计算

增量读取分区、增量写入分区、流批一体中的分区设计。

分区与数据湖格式演进

Hive风格分区、Iceberg风格分区、Delta风格分区对比。

分区与云存储优化

S3分区前缀优化、OSS分区命名、GCS分区策略、分区与请求成本。

云存储优化

分区与查询引擎

Presto/Trino分区裁剪、Spark分区裁剪、Flink分区读取、Hive分区过滤。

分区与ETL/ELT

分区在ETL中的角色、增量ETL与分区、全量刷新与分区。

分区与数据湖治理

分区命名规范、分区文档化、分区血缘追踪、分区变更管理。

分区性能调优

分区剪枝效率、分区统计信息、分区与BloomFilter、分区与索引。

分区常见陷阱

过度分区、分区键选择错误、分区数据倾斜、分区元数据爆炸。

分区迁移与重构

从无分区到有分区、分区策略变更、历史数据重分区、在线迁移方案。

多引擎环境下的分区兼容

Spark与Hive分区兼容、Flink与Iceberg分区兼容、跨引擎分区读写。

兼容多引擎

数据湖分区最佳实践

企业级分区规范、分区设计Checklist、分区监控与告警、未来趋势。

最佳实践总结