VIP20

本课程属于：023-数据血缘与目录 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据流批一体架构下的目录管理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流批一体概述

流批一体概念、Lambda架构与Kappa架构对比、流批一体核心价值。

目录管理基础

目录管理定义、元数据与目录的关系、目录在数据湖中的角色。

基础元数据

Hive Metastore详解

Hive Metastore架构、配置与部署、表与分区管理。

Apache Iceberg基础

Iceberg表格式、快照与版本管理、时间旅行查询。

Apache Hudi基础

Hudi表类型（COW/MOR）、增量查询、写时复制与读时合并。

Delta Lake基础

Delta Lake事务日志、ACID特性、Schema演进。

目录服务选型

Hive vs Iceberg vs Hudi vs Delta Lake对比、选型策略。

统一目录层设计

统一元数据抽象层、跨引擎目录同步、目录服务高可用。

架构高可用

流式写入目录

Kafka到目录的实时写入、Exactly-Once语义保证、Checkpoint机制。

批量写入目录

Spark批量写入、分区策略优化、小文件合并。

增量读取目录

流式读取目录变更、Change Data Capture (CDC) 实现。

目录分区管理

动态分区、静态分区、分区裁剪优化。

目录数据压缩

ZSTD/Snappy/LZ4对比、压缩策略选择、压缩对查询性能影响。

目录数据排序

Z-order排序、Hilbert曲线排序、排序对查询加速原理。

目录数据去重

基于主键的去重、基于事件时间的去重、Deduplication策略。

目录数据生命周期管理

TTL策略、冷热数据分层、归档与清理。

生命周期TTL

目录权限管理

RBAC模型、列级权限、行级权限、Apache Ranger集成。

目录审计与血缘

数据血缘追踪、审计日志、影响分析。

目录与计算引擎集成

Spark/Flink/Trino/Presto集成实践。

目录与数据质量

数据质量规则定义、异常检测、质量报告生成。

目录与数据发现

数据目录搜索、标签管理、数据资产盘点。

目录与数据治理

数据标准、数据分类、数据脱敏。

目录性能优化

元数据缓存策略、元数据查询优化、并发控制。

目录高可用与容灾

主备切换、跨区域复制、灾难恢复。

高可用容灾

目录监控与告警

关键指标监控、告警规则、可视化Dashboard。

目录迁移实战

从Hive Metastore迁移到Iceberg/Hudi、迁移工具与脚本。

目录与实时数仓

实时数仓架构、目录在实时数仓中的位置、案例分享。

实时数仓案例

目录与数据湖仓

Lakehouse架构、目录作为湖仓核心组件、案例分享。

Lakehouse案例

特征存储与目录、模型训练数据管理、MLflow集成。

目录管理未来趋势

Serverless目录、云原生目录、AI驱动的目录管理。

趋势云原生