VIP20
本课程属于：002-数据湖仓平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据湖仓一体架构设计与项目落地

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
第01章
数据湖仓概述
数据仓库与数据湖的演进脉络，数据湖仓的定义与核心特性，Lambda架构与Kappa架构的对比分析。
演进架构核心特性
第02章
核心技术栈概览
Apache Spark、Flink、Iceberg、Hudi、Delta Lake等主流组件的能力定位与生态关系。
SparkFlinkIcebergHudiDelta Lake
第03章
存储层设计
对象存储(S3/MinIO)与HDFS对比，列式存储Parquet/ORC原理，文件布局与分区策略最佳实践。
对象存储列式存储分区策略
第04章
表格式与ACID事务
Iceberg、Hudi、Delta Lake表格式详解，ACID事务在湖仓中的实现机制与对比。
IcebergHudiDelta LakeACID
第05章
数据摄入与批流一体
批量数据导入(Sqoop/Spark)，实时数据接入(Kafka+Flink)，CDC方案实现增量同步。
批量导入实时接入CDC
第06章
数据治理与元数据管理
Apache Atlas元数据管理，数据血缘追踪，数据质量监控，Amundsen/DataHub目录实践。
Atlas血缘质量监控数据目录
第07章
查询引擎与性能优化
Presto/Trino查询引擎，Spark SQL优化技巧，物化视图与预计算，Data Skipping技术。
PrestoTrinoSpark SQL物化视图
第08章
安全与权限管理
Ranger与Sentinel权限框架，列级与行级权限控制，数据脱敏加密及审计日志方案。
Ranger权限脱敏审计
第09章
数据湖仓部署与运维
Kubernetes部署方案，Prometheus+Grafana监控告警，备份恢复策略与成本优化实践。
K8s监控备份成本优化
第10章
实战案例：电商实时数仓
从需求分析、架构设计到ETL开发，最终实现实时报表展示，完整电商数仓落地。
电商实时数仓ETL报表
第11章
实战案例：金融风控数据平台
实时特征计算、历史数据回溯、模型训练数据准备，构建风控数据底座。
金融风控实时特征回溯ML
第12章
实战案例：物联网(IoT)数据湖仓
海量设备数据接入、时序数据存储、异常检测，IoT场景下湖仓实践。
IoT时序异常检测
第13章
数据湖仓与AI/ML集成
特征存储(Feast)、模型训练数据管道、MLflow集成，打通湖仓与MLOps。
FeastMLflow特征存储MLOps
第14章
数据湖仓的未来趋势
Serverless湖仓、数据网格(Data Mesh)、数据编织(Data Fabric)等前沿方向。
ServerlessData MeshData Fabric
第15章
课程总结与进阶路径
知识体系回顾、推荐学习资源、社区与认证，规划后续成长路线。
总结资源认证
第16章
数据湖仓概述（进阶）
深入数据仓库与数据湖演进，数据湖仓定义与核心特性，Lambda与Kappa架构深度对比。
演进架构核心特性
第17章
核心技术栈概览（进阶）
Apache Spark、Flink、Iceberg、Hudi、Delta Lake进阶特性与选型对比。
SparkFlinkIcebergHudiDelta Lake
第18章
存储层设计（进阶）
对象存储与HDFS深度对比，Parquet/ORC高级特性，文件布局与分区策略调优。
对象存储列式存储分区策略
第19章
表格式与ACID事务（进阶）
Iceberg/Hudi/Delta Lake表格式深入，ACID事务实现原理与性能对比。
IcebergHudiDelta LakeACID
第20章
数据摄入与批流一体（进阶）
批量导入与实时接入高级技巧，CDC方案深度实践，批流一体架构设计。
批量导入实时接入CDC
第21章
数据治理与元数据管理（进阶）
Apache Atlas深度集成，数据血缘追踪实践，质量监控体系与数据目录搭建。
Atlas血缘质量监控数据目录
第22章
查询引擎与性能优化（进阶）
Presto/Trino调优，Spark SQL高级优化，物化视图策略与Data Skipping实战。
PrestoTrinoSpark SQL物化视图
第23章
安全与权限管理（进阶）
Ranger与Sentinel高级配置，列级行级权限实战，脱敏加密与审计日志方案。
Ranger权限脱敏审计
第24章
数据湖仓部署与运维（进阶）
Kubernetes生产级部署，Prometheus+Grafana监控告警体系，备份恢复与成本优化。
K8s监控备份成本优化
第25章
实战案例：电商实时数仓（进阶）
复杂需求分析，高可用架构设计，ETL性能优化，实时报表展示与监控。
电商实时数仓ETL报表
第26章
实战案例：金融风控数据平台（进阶）
实时特征计算优化，大规模历史数据回溯，模型训练数据管道构建。
金融风控实时特征回溯ML
第27章
实战案例：物联网(IoT)数据湖仓（进阶）
海量设备高并发接入，时序存储优化，异常检测算法集成与部署。
IoT时序异常检测
第28章
数据湖仓与AI/ML集成（进阶）
Feast特征存储实战，模型训练数据管道自动化，MLflow全生命周期管理。
FeastMLflow特征存储MLOps
第29章
数据湖仓的未来趋势（进阶）
Serverless湖仓架构，数据网格与数据编织实践，行业趋势深度解读。
ServerlessData MeshData Fabric
第30章
课程总结与进阶路径（进阶）
完整知识体系回顾，精选学习资源推荐，社区参与与认证考试指南。
总结资源认证