VIP20

本课程属于：047-湖仓元数据治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Delta Lake元数据操作与Catalog管理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Delta Lake 概述

Delta Lake 的起源、核心特性（ACID、时间旅行、Schema 演进）、与 Apache Spark 的关系。

起源ACID时间旅行

Delta Lake 事务日志

事务日志（_delta_log）的结构、JSON 与 Parquet 文件的作用、提交（Commit）与检查点（Checkpoint）机制。

_delta_logCommitCheckpoint

元数据基础操作

使用 DESCRIBE DETAIL 查看表元数据、使用 SHOW COLUMNS 查看列信息、使用 DESCRIBE HISTORY 查看表历史。

DESCRIBESHOWHISTORY

Schema 演进与强制

自动 Schema 演进（mergeSchema）、Schema 强制（overwriteSchema）、使用 ALTER TABLE 修改 Schema。

mergeSchemaoverwriteSchemaALTER TABLE

分区管理与优化

分区发现（Partition Discovery）、动态分区修剪（Dynamic Partition Pruning）、使用 OPTIMIZE 命令优化分区布局。

分区发现DPPOPTIMIZE

时间旅行（Time Travel）

使用版本号查询历史数据、使用时间戳查询历史数据、恢复已删除的数据。

版本号时间戳数据恢复

数据版本控制

使用 VACUUM 清理旧版本文件、保留时间（retentionDuration）配置、避免误删数据的策略。

VACUUMretentionDuration误删防护

Z-Order 原理、使用 OPTIMIZE ZORDER BY 命令、Z-Order 对查询性能的影响。

Z-OrderOPTIMIZE性能

数据文件管理

使用 FSCK REPAIR TABLE 修复元数据、使用 DESCRIBE DETAIL 查看文件大小与数量、手动合并小文件。

FSCK小文件合并DESCRIBE DETAIL

约束与完整性

使用 ADD CONSTRAINT 添加 CHECK 约束、约束的验证与强制执行、约束与 Schema 演进的交互。

CHECK约束Schema 交互

生成列（Generated Columns）

生成列的定义与使用、生成列对分区裁剪的优化、生成列与时间戳处理。

生成列分区裁剪时间戳

Change Data Feed（CDF）

启用 CDF、使用 table_changes 函数读取变更数据、CDF 在流处理中的应用。

CDFtable_changes流处理

Delta Sharing 元数据

共享表的元数据管理、使用 DESCRIBE SHARE 查看共享信息、共享权限控制。

Delta SharingDESCRIBE SHARE权限

元数据存储与性能

元数据缓存的配置（spark.databricks.delta.properties.defaults）、元数据操作的性能调优。

缓存配置性能调优defaults

使用 Python 操作 Delta 元数据

使用 DeltaTable API 读取元数据、使用 DeltaTable API 修改元数据、Python 脚本自动化元数据管理。

DeltaTable APIPython自动化

使用 SQL 操作 Delta 元数据

DDL 语句（ALTER TABLE、CREATE TABLE）、DML 语句（MERGE、UPDATE、DELETE）的元数据影响。

DDLDML元数据影响

Delta Lake 与 Unity Catalog

Unity Catalog 中的元数据管理、表注册与发现、权限继承与审计。

Unity Catalog表注册审计

Delta Lake 与 Hive Metastore

Hive Metastore 集成、元数据同步策略、从 Hive 表迁移到 Delta Lake。

Hive Metastore同步迁移

Delta Lake 与 Spark Catalog

Spark 内置 Catalog 的交互、使用 spark.catalog 接口管理 Delta 表。

Spark Catalogspark.catalog接口

元数据备份与恢复

备份 _delta_log 目录、使用时间旅行恢复误操作、灾难恢复策略。

备份时间旅行恢复灾难恢复

元数据监控与告警

使用 DESCRIBE HISTORY 监控表变更、设置元数据变更告警、使用 Delta Lake 指标（Metrics）。

监控告警Metrics

Delta Lake 表克隆（Clone）

浅克隆（Shallow Clone）与深克隆（Deep Clone）、克隆表的元数据特性、克隆用于测试与开发。

浅克隆深克隆测试开发

Delta Lake 表重命名与移动

使用 ALTER TABLE RENAME TO 重命名表、移动 Delta 表文件后的元数据修复。

RENAME移动元数据修复

Delta Lake 表删除与恢复

使用 DROP TABLE 删除表、使用 RESTORE 命令恢复表、删除表后的元数据清理。

DROPRESTORE元数据清理

Delta Lake 表转换

将 Parquet/CSV/JSON 表转换为 Delta 表、转换过程中的元数据变化、转换后的验证。

Delta Lake 表合并（Merge）的元数据影响

MERGE 操作的元数据变更、MERGE 与 Schema 演进的交互、MERGE 性能优化。

MERGESchema 演进性能优化

Delta Lake 表更新与删除的元数据影响

UPDATE/DELETE 操作的元数据变更、软删除与硬删除的区别。

UPDATEDELETE软删除

Delta Lake 表插入与覆盖的元数据影响

INSERT INTO 与 INSERT OVERWRITE 的元数据差异、覆盖模式下的 Schema 处理。

INSERTOVERWRITESchema 处理

Delta Lake 元数据安全

表访问控制列表（ACL）、列级安全（Column-Level Security）、行级安全（Row-Level Security）的元数据实现。

ACL列级安全行级安全

Delta Lake 元数据最佳实践

元数据操作常见陷阱、性能优化建议、生产环境元数据管理策略。

最佳实践陷阱生产策略