VIP9

本课程属于：021-数据治理、质量与元数据工程 后端、数据与云原生工程 · 共 9 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据集市与数据湖融合

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据孤岛之痛

传统数据仓库的局限、数据湖的兴起、数据集市与数据湖融合的必要性。

融合背景数据孤岛

核心概念辨析

数据湖、数据集市、数据仓库的区别与联系，厘清术语边界。

湖仓一体架构

Databricks Lakehouse 理念、Delta Lake 核心特性（ACID、Schema Enforcement）。

LakehouseDelta Lake

融合架构设计原则

读写分离、元数据统一管理、计算与存储分离、开放格式（Parquet/ORC）。

架构开放格式

数据摄取层设计

批量 vs 流式摄取、Change Data Capture (CDC) 技术详解。

存储层选型

对象存储（S3/ADLS/GCS）作为基础、HDFS 取舍、分层存储策略（热/温/冷）。

对象存储分层

表格式之争

Apache Iceberg、Delta Lake、Apache Hudi 对比与选型指南。

元数据管理

Apache Atlas、DataHub、Amundsen 集成，数据血缘追踪。

元数据血缘

数据目录与发现

构建企业级数据目录，让分析师快速定位数据集。

数据质量保障

Great Expectations 框架、质量规则定义、异常检测与告警。

质量Great Expectations

数据安全与治理

细粒度访问控制（Row/Column Level Security）、脱敏、审计日志。

Presto/Trino、Spark SQL、Dremio 对比与适用场景。

数据集市构建

基于数据湖的星型/雪花型模型设计，维度建模实践。

维度建模集市

ETL 到 ELT 的转变

dbt 在湖仓一体中的角色、SQL 驱动的转换。

实时数据集市

Kafka + Flink 构建实时管道、实时物化视图。

数据湖上的 BI 工具

Apache Superset、Metabase、Tableau 连接与性能优化。

数据湖上的机器学习

Feature Store 概念，从数据湖高效提取特征。

MLFeature Store

数据湖上的数据科学

Notebook 环境（Jupyter/Zeppelin）与数据湖集成。

Notebook数据科学

数据湖上的数据共享

Delta Sharing 协议、跨组织/跨云共享方案。

共享Delta Sharing

数据归档与生命周期管理

保留策略、自动归档与清理。

归档生命周期

数据版本控制

时间旅行（Time Travel）、数据回滚与恢复。

版本Time Travel

数据一致性

最终一致性 vs 强一致性、乐观并发控制。

一致性并发

数据压缩与优化

Z-order 排序、Bloom Filter、文件大小优化。

数据分区策略

分区键选择、分区裁剪（Partition Pruning）优化。

Alluxio 缓存层、本地缓存与远程缓存权衡。

从传统数仓（Teradata/Oracle）迁移到湖仓一体架构。

存储成本、计算成本、数据湖成本优化最佳实践。

监控与运维

Prometheus + Grafana 监控集群、日志聚合。

跨区域复制、备份策略、RTO/RPO 目标设定。

Data Mesh 与湖仓一体结合、AI 驱动的数据湖自治。

Data MeshAI自治