VIP20

本课程属于：046-机器学习数据流水线 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Lakehouse机器学习数据流水线设计

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据架构演进

从数据仓库到数据湖再到Lakehouse的演变历程与核心驱动力，理解现代数据平台的设计哲学。

Lakehouse核心概念

定义、ACID事务、Schema-on-Read与Schema-on-Write对比，奠定湖仓理论基础。

Delta Lake基础

Delta Lake的安装、核心特性（时间旅行、版本控制、Schema演进），开启湖仓实践。

Delta Lake版本控制

Delta Lake实战

使用Delta Lake进行数据读写、更新、删除与合并操作，掌握核心数据操作技能。

Apache Spark与Lakehouse

Spark SQL在Lakehouse中的角色、Catalyst优化器与Tungsten执行引擎，加速查询分析。

数据流水线设计模式

ETL vs ELT、批处理 vs 流处理、Lambda架构与Kappa架构，选择最佳流水线范式。

设计模式流批一体

数据摄取层

从Kafka、JDBC、文件系统（S3/ADLS）摄取数据到Lakehouse，构建可靠数据入口。

数据转换层

使用Spark Structured Streaming进行实时数据清洗与转换，实现流式ETL。

流处理Structured Streaming

数据存储层

分区策略、Z-Order索引、文件大小优化与Compaction，提升存储与查询性能。

数据服务层

使用Trino/Presto、Dremio进行高性能SQL查询，解锁湖仓交互分析能力。

Unity Catalog / Apache Atlas 元数据管理与数据血缘追踪，保障数据资产可控。

Great Expectations 在Lakehouse中的数据质量验证与监控，建立数据信任。

质量Great Expectations

使用dbt进行数据模型版本控制与持续集成，实现数据工程DevOps。

工作流编排

Apache Airflow / Dagster 调度Lakehouse数据流水线，自动化任务依赖。

Delta Live Tables (DLT) 实现声明式增量数据管道，简化流批处理。

实时流处理

使用Spark Structured Streaming + Delta Lake实现实时数仓，低延迟分析。

实时流处理

Change Data Capture (CDC)

Debezium + Kafka + Delta Lake 实现数据库实时同步，捕获增量变更。

数据湖仓安全

RBAC、列级安全、动态数据脱敏与审计日志，构建全方位安全体系。

Spark Shuffle优化、数据倾斜处理、广播变量与累加器，提升作业效率。

Spot实例、自动缩放、数据生命周期管理与冷热分层，降低运营支出。

成本生命周期

多模态数据

在Lakehouse中处理结构化、半结构化（JSON/Parquet）与非结构化数据（图片/文本）。

多模态非结构化

机器学习流水线

Feature Store + MLflow 在Lakehouse上的MLOps实践，打通数据与AI。

数据湖仓监控

Prometheus + Grafana 监控Spark作业与Delta表状态，保障系统稳定。

跨区域复制、Delta Sharing 与数据备份策略，确保数据高可用。

容灾Delta Sharing

云原生Lakehouse

AWS Lake Formation、Azure Synapse、GCP BigLake 对比，选型云上方案。

云原生对比

开源Lakehouse栈

Apache Iceberg vs Delta Lake vs Apache Hudi 技术选型，深度对比。

Schema Registry + Protobuf/Avro 在数据流水线中的实践，规范数据交换。

契约Schema Registry

数据流水线的单元测试、集成测试与端到端测试，保障质量。

测试集成测试

构建一个从Kafka到实时Dashboard的端到端Lakehouse流水线，全流程实战。

实战端到端

Data Mesh、Data Product、AI原生数据湖仓与Serverless数据流水线，展望未来。

趋势Data Mesh