VIP20
本课程属于:002-数据湖仓平台 数据工程与实时数据平台 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

湖仓元数据采集管理与质量治理

📚 共计 30 章节
点击此处阅读海量试读课程:100+行业、1000+细分领域
第1章
元数据管理概述
数据湖仓的演进脉络,元数据的定义与分类,以及元数据管理的核心价值与战略意义。
演进定义价值
第2章
元数据架构设计
元数据存储选型对比:Hive Metastore、AWS Glue、Apache Atlas;元数据分层模型设计。
存储选型分层模型
第3章
技术元数据采集
Hive/Spark表结构采集、血缘关系解析、数据质量指标采集策略与工具链。
采集血缘质量指标
第4章
业务元数据管理
业务术语表构建、数据字典设计、数据域与数据主题划分方法。
术语表数据字典数据域
第5章
操作元数据与治理
数据任务调度监控、数据生命周期管理、元数据权限与审计机制。
调度监控生命周期权限审计
第6章
元数据血缘分析
字段级血缘解析、SQL解析引擎选型(SQLFlow、Atlas)、血缘可视化方案。
字段级SQL解析可视化
第7章
元数据API与服务化
RESTful API设计、元数据搜索与发现、事件驱动更新机制。
API搜索事件驱动
第8章
元数据质量与一致性
元数据完整性校验、版本控制与变更管理、元数据质量监控体系。
完整性版本控制监控
第9章
元数据安全与合规
敏感数据识别、数据脱敏策略、GDPR/等保合规要求落地。
敏感识别脱敏合规
第10章
元数据驱动数据治理
数据目录建设、数据资产盘点、数据价值评估模型与治理实践。
数据目录资产盘点价值评估
第11章
元数据与数据建模
维度建模与元数据映射、数据模型版本管理、模型血缘追溯。
维度建模版本管理血缘追溯
第12章
元数据与数据开发
CI/CD流水线中的元数据同步、数据开发IDE集成、代码与元数据联动。
CI/CDIDE集成联动
第13章
元数据与数据质量
质量规则元数据化、质量评分卡设计、质量报告自动生成。
规则元数据评分卡自动报告
第14章
元数据与数据安全
标签化安全策略、动态脱敏与元数据联动、访问控制列表管理。
标签安全动态脱敏ACL
第15章
元数据与数据成本
存储成本分析、计算成本归因、冷热数据分层与元数据标记。
成本分析归因冷热分层
第16章
元数据与AI/ML
特征存储元数据、模型训练元数据、模型版本与实验追踪。
特征存储模型训练实验追踪
第17章
元数据与实时数据
实时流元数据管理、Kafka Schema Registry集成、CDC元数据捕获。
实时流Schema RegistryCDC
第18章
元数据与数据网格
数据产品元数据定义、数据域自治、联邦治理与元数据互操作。
数据产品域自治联邦治理
第19章
元数据工具选型
开源工具对比(Atlas vs DataHub vs Amundsen),商业工具评估(Alation、Collibra)。
开源对比商业评估
第20章
元数据平台搭建
基于Apache Atlas的元数据平台实战,集成Hive/HBase/Kafka。
Atlas集成实战
第21章
元数据采集器开发
自定义采集器框架设计、插件化架构、增量采集策略。
采集器插件化增量采集
第22章
元数据解析引擎
SQL血缘解析深度实践、存储过程解析、ETL脚本解析。
SQL血缘存储过程ETL解析
第23章
元数据存储优化
图数据库选型(Neo4j vs JanusGraph)、索引策略、查询性能调优。
图数据库索引性能调优
第24章
元数据搜索与发现
Elasticsearch集成、全文搜索、推荐与联想功能实现。
ES集成全文搜索推荐联想
第25章
元数据可视化
血缘图渲染技术(D3.js、Cytoscape.js)、数据目录UI设计、交互式探索。
D3.jsCytoscapeUI设计
第26章
元数据变更管理
变更事件捕获、通知机制、回滚策略、影响分析。
事件捕获通知回滚
第27章
元数据治理流程
元数据审批流程设计、角色与权限模型、治理工作流引擎。
审批流程角色权限工作流
第28章
元数据与数据中台
中台架构下的元数据定位、数据服务目录、中台元数据标准。
中台架构服务目录标准
第29章
元数据最佳实践
大规模集群元数据管理经验、跨地域元数据同步、治理组织建设。
大规模跨地域组织建设
第30章
元数据未来趋势
主动元数据、知识图谱、AI驱动的元数据管理、Data Fabric与元数据。
主动元数据知识图谱Data Fabric