VIP20

本课程属于：032-数据网格架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Delta Lake 构建数据产品底座

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据产品概述

什么是数据产品、数据产品的生命周期、Delta Lake在数据产品中的角色。

产品思维基础概念

Delta Lake核心概念

ACID事务、Schema Enforcement、Time Travel、版本管理。

事务版本控制

Spark与Delta Lake的集成、本地开发环境配置、Databricks环境快速上手。

基础读写操作

创建Delta表、写入数据（Append/Overwrite）、读取数据、更新与删除。

Schema Evolution、Schema Enforcement实战、如何处理Schema变更。

元数据演进

Time Travel实战

数据版本回溯、使用时间戳查询、恢复误删数据。

数据治理基础

Delta Lake的日志机制、事务日志解析、检查点（Checkpoint）原理。

文件大小优化（Optimize）、Z-Order索引、数据跳过（Data Skipping）。

流式数据处理

Structured Streaming与Delta Lake集成、流式写入、流式读取。

增量数据处理

Change Data Feed（CDF）、增量查询、实时同步场景。

数据分区策略

分区设计原则、动态分区写入、分区裁剪优化。

数据合并（Merge）

UPSERT操作、SCD Type 2实现、复杂条件合并。

数据质量保障

Delta Lake约束（Constraints）、自定义校验、数据质量监控。

跨表事务一致性、多表写入的原子性、实践中的挑战。

事务一致性

数据湖仓一体

Delta Lake与Hive、Iceberg、Hudi的对比、湖仓一体架构设计。

数据管道构建

使用Delta Lake构建ETL管道、增量ETL设计、管道监控。

数据产品版本管理

Delta Lake版本控制策略、数据产品发布流程、回滚机制。

数据安全与权限

表级别权限控制、行级安全、数据脱敏实践。

数据共享与协作

Delta Sharing原理、跨团队数据共享、开放数据格式。

大规模数据管理

处理十亿级数据、集群调优、资源管理策略。

大规模调优

数据归档与清理

VACUUM命令详解、数据生命周期管理、存储成本优化。

实时数据产品

实时特征工程、实时报表、实时推荐系统案例。

数据产品测试

单元测试Delta表、集成测试数据管道、测试数据生成。

自动化数据管道部署、版本控制数据产品、测试自动化。

监控与告警

Delta Lake指标监控、数据质量告警、性能监控面板。

数据产品文档化

数据字典自动生成、元数据管理、数据血缘追踪。

高级优化技巧

Bloom Filter索引、动态文件修剪、查询优化器调优。

多云与混合云部署

AWS S3、Azure Data Lake、GCP Cloud Storage上的Delta Lake。

数据产品架构设计

Lambda架构、Kappa架构、Delta Lake的架构选择。

构建一个完整的数据产品（从数据采集到数据服务），涵盖全流程最佳实践。

实战全流程