VIP20

本课程属于：032-数据网格架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Lakehouse与数据网格融合方案

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据架构演进

从数据仓库到数据湖，再到Lakehouse与数据网格的融合背景与驱动力。

演进驱动力

Lakehouse核心概念

Delta Lake、Apache Iceberg、Apache Hudi等开放表格式的原理与对比。

表格式对比

数据网格核心概念

面向领域的数据所有权、数据即产品、自助式数据基础设施、联邦治理。

融合方案总览

为什么需要融合？融合架构的四大支柱与设计原则。

支柱设计原则

领域数据产品设计

如何定义数据产品？数据产品的生命周期管理与SLA。

数据网格中的Lakehouse存储层

基于对象存储的分布式数据湖仓架构设计。

对象存储湖仓

数据目录与发现

基于Apache Atlas / DataHub / Amundsen的元数据管理与数据产品注册。

元数据发现

策略即代码、数据质量规则、访问控制与审计。

治理策略即代码

数据管道与ETL/ELT

在Lakehouse上构建面向领域的数据管道（Spark/Flink/dbt）。

实时数据处理

Kafka + Flink + Lakehouse的流批一体方案。

流批一体Kafka

自助式分析

Trino / Presto / StarRocks作为联邦查询引擎。

联邦查询Trino

机器学习与MLOps

MLflow + Feature Store + Lakehouse的MLOps实践。

MLOpsFeature Store

从数据源到数据产品的全链路血缘追踪。

Great Expectations / dbt test / Deequ的集成与自动化。

质量自动化

安全与隐私

列级加密、动态脱敏、差分隐私在Lakehouse上的实现。

基于标签的成本分摊、存储与计算分离的计费模型。

数据新鲜度、可用性、准确性的监控与告警。

API与数据服务

如何将数据产品暴露为RESTful API或gRPC服务。

事件驱动架构

基于CDC（Debezium）与事件总线的数据同步。

CDC事件总线

多租户设计

命名空间隔离、资源配额、租户级权限模型。

多租户隔离

CI/CD与DataOps

数据管道的版本控制、测试与部署（DataOps）。

Schema Registry

Avro / Protobuf / JSON Schema的管理与兼容性检查。

Schema兼容性

数据压缩与优化

Zstandard / Parquet / ORC的选型与调优。

数据生命周期管理

冷热数据分层、自动归档与清理策略。

生命周期归档

跨区域复制

基于Lakehouse的异地多活与灾备方案。

监控与可观测性

Prometheus + Grafana + OpenTelemetry的集成。

监控OpenTelemetry

单元测试、集成测试、端到端测试在数据管道中的应用。

文档与知识库

如何用Markdown + Git管理数据产品的文档。

组织与文化转型

从集中式数据团队到领域数据团队的转型路径。

组织领域团队

融合方案总结与展望

Lakehouse与数据网格的未来趋势（AI原生、Data Fabric）。