VIP20
本课程属于：026-数据湖治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

从数据湖治理到业务价值闭环

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据湖概念与演进
从数据仓库到数据湖的演变 · 核心特征 · Lakehouse 架构概述
基础架构
02
数据湖治理体系总览
治理目标与原则 · 成熟度模型 · 组织架构与角色定义
治理框架
03
元数据管理
技术/业务/操作元数据 · 采集与存储 · 血缘分析
元数据血缘
04
数据目录与发现
企业数据目录构建 · 资产分类与标签 · 搜索与自助发现
目录发现
05
数据质量评估
六大维度：完整性/准确性/一致性/及时性/唯一性/有效性 · 度量指标体系
质量评估
06
数据质量监控与修复
自动化监控规则 · 异常告警与根因分析 · 修复策略
监控修复
07
数据安全与隐私保护
数据分级分类 · RBAC/ABAC · 脱敏与加密技术
安全隐私
08
数据生命周期管理
全流程管理 · 冷热分层 · 保留与销毁策略
生命周期存储
09
数据标准与规范
命名规范 · 数据类型标准 · 接口规范 · 模型标准
标准规范
10
数据模型治理
概念/逻辑/物理模型管理 · 版本控制与变更管理
模型治理
11
数据集成与入湖
批式采集(Sqoop/DataX) · 实时采集(Kafka/Canal) · 入湖格式(Parquet/ORC/Avro)
集成入湖
12
数据湖存储优化
对象存储 vs HDFS · 分区与分桶 · 小文件合并
存储优化
13
数据湖计算引擎
Spark SQL · Presto/Trino · Flink 应用场景对比
计算引擎
14
数据湖表格式
Apache Hudi · Iceberg · Delta Lake 核心原理与选型
表格式选型
15
数据湖的ACID事务
ACID实现 · 并发控制与快照隔离 · 时间旅行与回滚
事务一致性
16
数据湖的ETL/ELT流程
ETL vs ELT · 增量/全量策略 · Lambda与Kappa架构
ETL架构
17
数据湖的批流一体
批流技术挑战 · Flink + Hudi/Iceberg · 实时数仓构建
批流实时
18
数据湖的SQL查询与联邦查询
跨源联邦查询 · Presto/Trino实践 · 查询性能调优
SQL联邦
19
数据湖的运维与监控
YARN/K8s资源管理 · Airflow/DolphinScheduler调度 · 监控告警
运维监控
20
数据湖的成本管理
存储压缩/归档 · 计算弹性伸缩/Spot · TCO分析
成本优化
21
数据湖与AI/ML的融合
特征存储(Feature Store) · ML训练数据管理 · 模型推理数据服务
AIML
22
数据湖的BI与可视化
对接Superset/Tableau · OLAP引擎(ClickHouse/Doris) · 自助分析平台
BI可视化
23
数据湖的数据服务化
RESTful/GraphQL API构建 · 数据产品封装 · 数据市场
服务化API
24
数据湖的合规与审计
GDPR/个人信息保护法 · 审计日志 · 数据溯源与问责
合规审计
25
数据湖治理平台选型
开源(Atlas/DataHub/Amundsen) · 商业(Collibra/Alation) · 选型矩阵
平台选型
26
数据湖治理的自动化
策略代码化(Policy as Code) · 自动化治理流水线 · AI辅助治理
自动化AI
27
数据湖的指标体系与度量
健康度指标 · 治理效果量化 · 数据资产价值评估
指标度量
28
数据湖治理的敏捷实践
MVP快速落地 · 迭代式治理 · DataOps协作模式
敏捷DataOps
29
数据湖治理的案例实战
电商 · 金融 · 制造业数据湖治理案例
案例实战
30
数据湖治理的未来趋势
Data Mesh融合 · 主动元数据与知识图谱 · AI原生时代
趋势前沿