VIP20

本课程属于：047-湖仓元数据治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Lakehouse分区演进与元数据维护

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

分区演进概述

什么是分区演进、为什么需要分区演进、分区演进的核心目标与挑战。

数据生命周期管理

数据冷热分层、数据生命周期策略、基于时间的分区策略。

策略生命周期

静态分区策略

基于范围的分区、基于列表的分区、基于哈希的分区、静态分区的优缺点。

动态分区演进

自动分区创建、分区合并与拆分、分区交换技术、动态分区管理工具。

自动化进阶

分区键选择策略

分区键的选择原则、常见分区键类型、分区键对查询性能的影响、分区键设计陷阱。

优化键设计

分区与数据分布

数据倾斜问题、均匀分布策略、分区数量的确定、分区大小控制。

分区索引管理

本地索引与全局索引、分区索引的维护、索引与分区剪枝、索引性能调优。

分区表的数据加载

批量加载策略、实时数据摄入、分区数据校验、加载失败处理。

ETL数据摄入

分区数据归档

冷数据归档策略、归档存储选型、归档数据恢复、自动化归档流程。

归档冷数据

分区数据清理

过期数据删除策略、安全删除机制、清理对性能的影响、清理任务调度。

分区与数据一致性

跨分区事务处理、最终一致性模型、分区边界数据一致性、分布式锁机制。

一致性分布式

分区与备份恢复

分区级备份策略、增量备份与全量备份、分区恢复流程、备份验证机制。

分区与高可用

分区副本机制、故障转移策略、分区领导者选举、跨数据中心分区。

高可用架构

分区与扩展性

水平扩展与垂直扩展、分区再平衡、扩容缩容策略、无感扩展设计。

分区与查询优化

分区剪枝原理、查询路由优化、谓词下推、分区级统计信息。

分区与数据压缩

分区级压缩策略、压缩算法选择、压缩对查询的影响、压缩比优化。

分区与数据加密

静态数据加密、传输加密、分区级加密密钥管理、加密性能开销。

分区与数据脱敏

动态脱敏策略、分区级脱敏规则、脱敏对查询的影响、合规性要求。

分区与数据血缘

数据血缘追踪、分区级血缘记录、血缘可视化、影响分析。

分区与数据质量

分区级数据质量规则、质量监控指标、异常检测与修复、质量报告生成。

分区与元数据管理

元数据存储选型、分区元数据同步、元数据版本控制、元数据查询优化。

元数据管理

分区与数据湖

湖仓一体架构、分区在数据湖中的应用、Delta Lake与分区、Iceberg分区演进。

数据湖湖仓

分区与数据仓库

传统数仓分区策略、MPP架构下的分区、云数仓分区特性、数仓分区最佳实践。

分区与流处理

流表分区设计、事件时间分区、水位线与分区、状态分区管理。

流处理实时

分区与批处理

批处理分区策略、分区级任务调度、分区数据重跑、批处理性能优化。

批处理调度

分区与实时分析

实时分区更新、微批次分区、OLAP分区优化、实时聚合分区。

OLAP实时分析

分区与机器学习

训练数据分区、特征工程分区、模型分区存储、推理分区策略。

分区与成本优化

存储成本计算、计算成本优化、分层存储成本、分区生命周期成本。

分区演进案例分析

电商订单系统分区演进、物联网时序数据分区、金融交易数据分区、社交媒体数据分区。

分区演进未来趋势

智能分区演进、AI辅助分区管理、Serverless分区、跨云分区策略。