VIP20
本课程属于：022-数据湖仓一体：Delta Lake、Apache Iceberg与Apache Hudi AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

企业级数据湖仓核心组件全景速览

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
数据湖仓的概念 · 发展背景 · 与传统数据仓库和数据湖的区别
课程导入数据湖仓的概念
02
数据湖仓架构总览
核心组件分层（存储层 · 计算层 · 元数据层
数据湖仓架构总览核心组件分层
03
存储层组件
对象存储（如S3 · OSS）与分布式文件系统（如HDFS…
存储层组件S3
04
表格式管理组件
Delta Lake · Apache Iceberg · Apache Hudi的核心特性与对…
表格式管理组件Delta
05
元数据管理组件
Hive Metastore · AWS Glue Catalog · Unity Catalog等的作用与…
元数据管理组件Hive
06
计算引擎组件
Spark · Flink · Presto/Trino在数据湖仓中…
计算引擎组件Spark
07
SQL查询引擎
如何通过SQL直接查询数据湖仓中的数… · Trino）
SQL查询引擎
08
数据摄入组件
实时与批量数据摄入工具（如Kafka… · Flume · DataX）的使用
数据摄入组件Kafka
09
数据转换与ETL组件
Spark作业 · Airflow工作流等在数据湖仓中的…
ETL数据转换
10
数据治理组件
数据质量 · 数据血缘 · 数据权限管理工具（如Apache A…
数据治理组件数据质量
11
数据安全组件
加密 · 脱敏 · 访问控制（如Ranger
数据安全组件加密
12
数据目录与发现
如何构建统一的数据目录 · 支持数据搜索与发现
数据目录发现
13
数据湖仓的存储优化
小文件处理 · 压缩 · 分区与索引优化
数据湖仓的存储优…小文件处理
14
数据湖仓的读写性能优化
缓存 · 谓词下推 · 向量化执行等
数据湖仓的读写性…缓存
15
数据湖仓的版本管理与时间旅行
如何实现数据快照与回滚
数据湖仓的版本管…时间旅行
16
数据湖仓的并发控制
ACID事务 · 乐观锁与快照隔离
数据湖仓的并发控…ACID
17
数据湖仓的流批一体
如何实现实时与批量数据的统一处理
数据湖仓的流批一…如何实现实时
18
数据湖仓的跨云与混合云部署
多云架构与数据复制策略
数据湖仓的跨云混合云部署
19
数据湖仓的监控与运维
日志收集 · 性能监控 · 告警与故障排查
数据湖仓的监控运维
20
数据湖仓的备份与恢复
数据备份策略 · 灾难恢复方案
数据湖仓的备份恢复
21
数据湖仓的迁移实践
从传统数仓或数据湖迁移到湖仓的步骤与…
数据湖仓的迁移实…从传统数仓或数据…
22
数据湖仓的案例实战
某电商企业构建数据湖仓的完整流程
数据湖仓的案例实…某电商企业构建数…
23
数据湖仓的案例实战
某金融企业实时风控场景下的湖仓应用
数据湖仓的案例实…某金融企业实时风…
24
数据湖仓的案例实战
某制造业物联网数据分析的湖仓实践
数据湖仓的案例实…某制造业物联网数…
25
数据湖仓的常见问题
数据一致性 · 性能瓶颈 · 成本控制等
数据湖仓的常见问…数据一致性
26
数据湖仓的选型指南
如何根据业务需求选择组件与平台
数据湖仓的选型指…如何根据业务需求…
27
数据湖仓的生态集成
与机器学习平台 · BI工具 · 数据可视化工具的集成
数据湖仓的生态集…机器学习平台
28
数据湖仓的未来趋势
湖仓一体 · 数据网格 · 数据编织等前沿方向
数据湖仓的未来趋…湖仓一体
29
综合实战项目
设计并实现一个简化版的企业级数据湖仓…
综合实战项目设计并实现一个简…
30
课程总结与进阶路径
核心知识点回顾 · 常见误区 · 推荐学习资源与认证
课程总结进阶路径