VIP20
本课程属于：028-多组学平台质控 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据湖质控元数据治理与质量规则管理

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据湖基础
数据湖定义 · 与数据仓库的区别 · 数据湖架构演进
数据湖基础数据湖定义
02
元数据管理概念
什么是元数据 · 元数据分类（技术 · 业务
元数据管理概念什么是元数据
03
数据湖元数据核心组件
Hive Metastore · AWS Glue Data Cata… · Databricks Unity C…
数据湖元数据核心…Hive
04
元数据采集与同步
元数据抓取工具（Apache Atl… · Marquez） · 增量采集策略
元数据采集同步
05
元数据存储设计
关系型 vs NoSQL · 图数据库选型（Neo4j） · 存储模型
元数据存储设计vs
06
元数据质量度量
完整性 · 准确性 · 一致性
元数据质量度量完整性
07
元数据血缘分析
数据血缘概念 · 依赖追踪 · 影响分析
元数据血缘分析数据血缘概念
08
数据质量规则定义
期望 · 约束 · 异常检测规则
数据质量规则定义期望
09
数据质量监控框架
基于Apache Griffin · Deequ · Great Expectations…
数据质量监控框架Apache
10
数据质量报告与仪表盘
使用Superset · Grafana可视化质量指标
数据质量报告仪表盘
11
元数据标签与分类
自动化标签 · 敏感数据分类 · GDPR合规
元数据标签分类
12
数据目录服务
企业数据目录功能 · 搜索与发现 · 数据资产评级
数据目录服务企业数据目录功能
13
元数据变更管理
版本控制 · 变更事件捕获（CDC） · 影响分析
元数据变更管理版本控制
14
元数据权限控制
基于角色的访问控制（RBAC） · 细粒度权限
元数据权限控制RBAC
15
数据湖治理框架
数据湖屋（Data Lakehous… · 开放表格式（Delta Lake · Iceberg
数据湖治理框架Data
16
数据质量维度详解
完整度 · 唯一性 · 精度
数据质量维度详解完整度
17
质量规则引擎
规则表达式 · 阈值配置 · 自动化执行
质量规则引擎规则表达式
18
数据剖面分析
统计概要 · 模式推断 · 异常值检测技术
数据剖面分析统计概要
19
数据质量SLA管理
定义SLA · 告警通知 · 容错机制
SLA数据质量
20
元数据与数据质量集成
将质量度量写入元数据系统（如Atla…
元数据数据质量集成
21
基于数据湖的ETL质量保障
在ETL任务中嵌入检查点 · 重试 · 死信队列
ETL基于数据湖的
22
实时数据质量监控
基于Kafka的流式质量检测 · 延迟处理
实时数据质量监控Kafka
23
数据湖元数据血缘自动化
解析SQL · Spark作业 · Airflow DAG生成血缘
数据湖元数据血缘…SQL
24
多环境元数据管理
开发 · 测试 · 生产环境元数据同步与隔离
多环境元数据管理开发
25
数据湖数据质量基准测试
基准库 · 数据快照 · 回归测试
数据湖数据质量基…基准库
26
元数据爬虫与API
自定义爬虫采集企业系统元数据 · RESTful API设计
API元数据爬虫
27
数据湖数据发现与搜索
基于Elasticsearch构建数…
数据湖数据发现搜索
28
数据湖成本与性能优化元数据
存储分区 · 索引优化 · 查询加速元数据支持
数据湖成本性能优化元数据
29
案例实践
电商数据湖元数据和质量体系建设
案例实践电商数据湖元数据
30
未来趋势
数据网格（Data Mesh） · AI辅助元数据管理 · 主动元数据
未来趋势Data