VIP20
本课程属于：023-数据湖仓一体：Delta Lake、Apache Iceberg与Apache Hudi AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

湖仓一体批流融合架构设计实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
湖仓一体与批流融合的背景 · 价值 · 核心概念与整体架构框架
课程导入湖仓一体
02
数据架构演进
从数据仓库 · 数据湖到湖仓一体的发展历程与驱动力
数据架构演进从数据仓库
03
批流融合技术基础
批处理与流处理原理 · 区别与适用场景
批流融合技术基础批处理
04
湖仓一体核心技术
事务性 · 元数据管理 · 存储格式（如Delta Lake
湖仓一体核心技术事务性
05
批流融合架构模式
Lambda架构 · Kappa架构及其在湖仓一体中的融合
批流融合架构模式Lambda
06
存储层设计
数据湖存储与数据仓库存储的统一设计 · 文件格式与分区策略
存储层设计数据湖存储
07
计算引擎选型
Spark · Flink · Presto/Trino在批流融合中…
计算引擎选型Spark
08
元数据与数据治理
统一元数据服务 · 数据血缘 · 数据质量与数据安全
元数据数据治理
09
实时数据接入
CDC技术 · 消息队列（Kafka/Pulsar）…
实时数据接入CDC
10
批流作业开发
使用Flink SQL和Spark…
批流作业开发Flink
11
数据湖表格式详解
Delta Lake的ACID事务与…
数据湖表格式详解Delta
12
数据湖表格式详解
Apache Iceberg的表演进…
数据湖表格式详解Apache
13
数据湖表格式详解
Apache Hudi的增量处理与索…
数据湖表格式详解Apache
14
批流一体数据管道
构建实时与批量统一的数据处理管道
批流一体数据管道构建实时
15
实时数仓分层设计
ODS · DWD · DWS
实时数仓分层设计ODS
16
数据服务与查询
统一查询接口 · 数据服务化与OLAP分析
数据服务查询
17
案例实战
电商实时订单分析系统设计与实现
案例实战电商实时订单分析…
18
案例实战
金融风控实时特征计算与批流融合
案例实战金融风控实时特征…
19
案例实战
物联网设备数据实时监控与批量分析
案例实战物联网设备数据实…
20
性能优化
存储优化 · 计算优化 · 作业调优与资源管理
性能优化存储优化
21
数据一致性保障
端到端一致性 · 幂等性与事务处理
数据一致性保障端到端一致性
22
监控与运维
作业监控 · 数据质量监控 · 故障恢复与容错
监控运维
23
安全与权限
数据加密 · 访问控制与审计
安全权限
24
常见问题与解决方案
数据延迟 · 数据倾斜 · 小文件问题等
常见问题解决方案
25
湖仓一体平台选型
开源方案（如Apache Hudi · Iceberg）与商业方案对比
湖仓一体平台选型Apache
26
云上湖仓一体实践
AWS · Azure · 阿里云等云服务集成
云上湖仓一体实践AWS
27
批流融合架构演进
从Lambda到Kappa再到湖仓一…
批流融合架构演进Lambda
28
综合实战
构建企业级湖仓一体批流融合平台
综合实战构建企业级湖仓一…
29
课程总结
核心要点回顾 · 架构设计方法论与未来趋势
课程总结核心要点回顾
30
综合考核
设计一个湖仓一体批流融合架构并阐述关…
综合考核设计一个湖仓一体…