VIP20
本课程属于：022-数据湖仓一体：Delta Lake、Apache Iceberg与Apache Hudi AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

实时数据湖仓一体架构与选型通识

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
实时数据湖仓一体架构的定义 · 发展背景 · 核心价值与整体框架
课程导入实时数据湖仓一体…
02
数据架构演进
从传统数据仓库 · 数据湖到湖仓一体的演进历程与驱动力
数据架构演进从传统数据仓库
03
实时数据处理基础
流处理概念 · 事件时间与处理时间 · 窗口计算
实时数据处理基础流处理概念
04
湖仓一体核心组件
存储层 · 计算层 · 元数据层
湖仓一体核心组件存储层
05
开源技术生态
Apache Hudi · Iceberg · Delta Lake 的对比与选型考…
开源技术生态Apache
06
实时摄取技术
Kafka · Pulsar 等消息队列在实时数据湖…
实时摄取技术Kafka
07
流批一体处理
Flink · Spark Structured S…
流批一体处理Flink
08
数据湖格式详解
Hudi 的 MOR/COW 表 · Iceberg 的 ACID 与时间… · Delta Lake 的日志机制
数据湖格式详解Hudi
09
实时数仓分层设计
ODS · DWD · DWS
实时数仓分层设计ODS
10
数据一致性保障
Exactly-Once 语义 · 端到端一致性 · 分布式事务实现
数据一致性保障Exactly-Once
11
实时数据湖写入优化
小文件问题 · 压缩策略 · 索引与布局优化
实时数据湖写入优…小文件问题
12
查询性能优化
数据跳过 · 分区裁剪 · 物化视图
查询性能优化数据跳过
13
元数据管理
Hive Metastore · AWS Glue · 自定义元数据服务的集成与演进
元数据管理Hive
14
数据治理与安全
数据血缘 · 质量监控 · 权限控制
数据治理安全
15
实时数据湖的存储选型
对象存储（S3 · OSS）与 HDFS 的对比与适用场…
实时数据湖的存储…S3
16
计算引擎选型
Flink · Spark · Presto/Trino 在湖仓中的…
计算引擎选型Flink
17
案例实战
基于 Flink + Hudi 构建…
案例实战Flink
18
案例实战
基于 Iceberg + Spark…
案例实战Iceberg
19
案例实战
基于 Delta Lake + Ka…
案例实战Delta
20
常见问题
数据延迟 · 数据倾斜 · 背压处理
常见问题数据延迟
21
常见问题
实时数据湖与消息队列的集成难点与应对…
常见问题实时数据湖
22
常见问题
小文件与元数据膨胀的治理方法
常见问题小文件
23
常见问题
实时数据湖的存储成本优化与生命周期管…
常见问题实时数据湖的存储…
24
常见问题
数据质量校验与实时监控体系的建设
常见问题数据质量校验
25
架构选型方法论
根据业务需求 · 技术栈 · 团队能力选择合适的技术组合
架构选型方法论根据业务需求
26
云服务对比
AWS Lake Formation · Azure Synapse · 阿里云 DataWorks 等托管服…
云服务对比AWS
27
实时数据湖的运维实践
监控告警 · 性能调优 · 版本升级与迁移
实时数据湖的运维…监控告警
28
前沿趋势
数据湖仓一体与 AI · 数据网格 · 实时数据编织的融合
前沿趋势AI
29
综合实战
设计一个端到端的实时数据湖仓一体架构…
综合实战设计一个端到端的…
30
课程总结
核心要点回顾 · 学习路径建议 · 常见误区与未来展望
课程总结核心要点回顾