VIP20

本课程属于：026-数据湖治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

从零入门数据湖治理核心体系

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据湖概念与演进

从数据仓库到数据湖的演变 · 数据湖定义与核心特征 · 数据湖 vs 数据仓库 vs 数据中台 · 典型应用场景

数据湖架构设计

Lambda · Kappa · Lakehouse · 存储层/计算层/管理层参考架构

数据湖存储选型

对象存储(S3/OSS/ADLS) · HDFS · 云原生存储对比 · 分层与生命周期管理

数据湖元数据管理

元数据定义与分类 · Hive Metastore · AWS Glue Catalog · Apache Atlas · 采集与同步

元数据治理

数据湖数据摄入

批量摄入(Sqoop/DataX) · 实时摄入(Kafka/Flink) · CDC(Debezium/Canal) · 数据源连接器

数据湖数据存储格式

Avro · Parquet · ORC · Delta Lake · Iceberg · Hudi · 格式对比与选型

数据湖数据分区与索引

分区策略(时间/地域/业务) · 分区裁剪 · Z-order索引 · Bloom Filter · 物化视图

数据湖数据质量

完整性/准确性/一致性 · 质量监控框架 · Great Expectations · 质量报告

数据湖数据安全

访问控制(RBAC/ABAC) · 数据脱敏 · 加密(TDE/列级) · 审计日志 · GDPR合规

数据湖数据血缘

血缘定义与价值 · OpenLineage · Marquez · 采集与可视化 · 影响分析与溯源

血缘可观测

数据湖数据目录

数据目录功能 · Apache Atlas · Amundsen · DataHub · 企业级实践

数据湖数据生命周期管理

冷热分层 · 归档策略 · 过期清理 · 版本管理 · 保留策略

生命周期成本

数据湖数据治理框架

DAMA-DMBOK · DCAM · 治理组织架构 · 成熟度评估

数据湖数据标准

数据标准定义 · 数据字典 · 模型标准 · 命名规范 · 代码值域

数据湖数据模型

ER模型 · 维度建模(星型/雪花型) · Data Vault · 湖仓一体建模策略

数据湖ETL/ELT

传统ETL vs ELT · Spark ETL · Flink ETL · Airflow调度 · DAG设计

数据湖实时计算

实时流处理架构 · Flink SQL · Kafka Streams · 实时数仓 · 实时指标

实时流计算

数据湖批处理

Spark SQL批处理 · Hive on Tez · Presto/Trino · 数据倾斜处理

批处理查询

数据湖数据服务

数据API网关 · 数据服务化 · 订阅与分发 · 共享平台

数据湖监控与告警

监控指标体系(存储/计算/质量) · Prometheus+Grafana · 自定义告警 · SLA管理

数据湖成本优化

存储成本(压缩/去重/冷热分离) · 计算成本(弹性/Spot) · 查询成本(物化视图/缓存)

数据湖仓一体

Delta Lake+Spark · Iceberg+Flink · Hudi+Presto · 湖仓一体最佳实践

湖仓一体化

数据湖与AI/ML

特征存储(Feast) · MLflow集成 · 模型训练数据管道 · 推理数据服务

数据湖与数据网格

数据网格概念 · 数据域划分 · 数据产品设计 · 联邦治理

数据湖迁移

Hive→Iceberg · HDFS→对象存储 · 迁移工具与策略 · 迁移验证

数据湖案例

金融 · 电商 · 物联网 · 医疗行业数据湖实践

数据湖工具链

Spark · Flink · Kafka · Airflow · Atlas · Ranger

数据湖最佳实践

命名规范 · 目录结构 · 权限模型 · 质量SLA · 运维规范

最佳实践规范

数据湖未来趋势

Serverless数据湖 · AI驱动治理 · 实时湖仓 · 数据网格2.0

综合实战：从零搭建企业级数据湖

需求分析 · 架构设计 · 技术选型 · 实施部署 · 运维监控

实战全流程