VIP20

本课程属于：022-数据湖仓一体：Delta Lake、Apache Iceberg与Apache Hudi AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Delta Lake 事务与版本控制概览

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · Delta Lake 在大数据生态中…

课程导入学习目标

Delta Lake 基础

ACID 事务 · 数据湖与数据仓库的区别 · Delta Lake 的核心特性

事务与并发控制

事务的概念 · 乐观并发控制 · 写冲突处理

事务并发控制

版本控制与时间旅行

版本管理 · 时间旅行查询 · 数据快照

版本控制时间旅行

Delta Lake 架构

事务日志 · Delta 文件 · 元数据管理

安装 Spark · 配置 Delta Lake · 创建第一个 Delta 表

环境搭建Spark

数据写入操作

INSERT · UPDATE · MERGE

数据写入操作INSERT

数据读取与查询

读取 Delta 表 · 利用版本进行时间旅行查询

数据读取查询

事务日志深入

日志条目 · 提交信息 · 检查点机制

事务日志深入日志条目

并发控制实战

处理并发写入 · 隔离级别 · 冲突解决策略

并发控制实战处理并发写入

版本管理实战

查看历史版本 · 回滚到指定版本 · 清理旧版本

版本管理实战查看历史版本

优化写入 · 读取性能 · 使用 Z-Order 和分区

性能优化优化写入

数据一致性保证

跨表事务 · 多语句事务 · 与外部系统的一致性

数据一致性保证跨表事务

Delta Lake 与 Spark 集成

DataFrame API · SQL 操作 · 流式处理

Delta Lake 与数据湖

构建数据湖 · 管理非结构化数据 · 与 Hive 集成

电商订单数据管理：实现实时更新 · 历史追溯

案例实战电商订单数据管理

金融交易数据：保证数据一致性 · 审计需求

案例实战金融交易数据

物联网数据：处理高频写入 · 版本控制

案例实战物联网数据

常见问题与解决方案

事务失败 · 版本膨胀 · 并发冲突

常见问题解决方案

监控与运维

查看事务日志 · 监控表状态 · 管理存储

安全与权限

表级权限 · 列级权限 · 数据加密

Delta Lake 与数据管道

构建 ETL · 实时流处理 · 增量处理

Delta Lake 与机器学习

特征存储 · 模型训练数据版本管理

Delta Lake 与数据治理

数据血缘 · 数据质量 · 合规性

Delta Sharing · Delta Live Tables · Delta Engine

高级主题Delta

性能调优实战

优化合并操作 · 调整参数 · 处理数据倾斜

性能调优实战优化合并操作

故障恢复与备份

备份策略 · 恢复流程 · 灾难恢复

故障恢复备份

构建一个完整的数据湖解决方案 · 版本控制 · 实时处理

综合项目构建一个完整的数…

核心要点回顾 · 最佳实践 · 学习路径建议

课程总结核心要点回顾

综合评估 · 实战演练 · 答疑解惑

结业测试综合评估