VIP20
本课程属于：044-实时数仓建设 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

实时数仓元数据目录与血缘治理

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据目录概述
什么是数据目录、数据目录在数仓中的定位、为什么实时数仓更需要数据目录。
基础概念
02
实时数仓架构演进
Lambda架构、Kappa架构、流批一体架构、数据目录如何融入架构。
架构实时
03
元数据采集实战
采集Kafka Topic元数据、采集Flink作业元数据、采集Hive/ClickHouse表元数据。
采集实战
04
血缘关系构建
字段级血缘解析、SQL解析引擎选型、基于Flink的血缘采集、血缘可视化展示。
血缘解析
05
数据质量监控
实时数据质量规则定义、基于数据目录的质量检测、异常告警与自动修复。
质量监控
06
数据生命周期管理
实时数据冷热分层、TTL策略管理、基于目录的自动归档与清理。
生命周期存储
07
数据安全与权限
敏感数据识别、基于目录的脱敏策略、实时数据访问审计。
安全权限
08
数据目录API设计
RESTful API设计、GraphQL接口、SDK封装与使用。
API接口
09
数据目录与数据湖集成
与Apache Iceberg集成、与Delta Lake集成、与Hudi集成。
数据湖集成
10
数据目录与消息队列集成
与Kafka Schema Registry集成、与Pulsar集成、与RocketMQ集成。
消息队列集成
11
实时数据资产盘点
资产分类与标签、资产热度分析、资产价值评估模型。
资产盘点
12
数据目录搜索与发现
全文搜索引擎集成、标签搜索、语义搜索、推荐搜索。
搜索发现
13
数据目录变更管理
Schema变更检测、变更影响分析、变更审批流程。
变更管理
14
数据目录版本管理
元数据版本控制、快照管理、回滚机制。
版本控制
15
数据目录与数据治理平台集成
与Apache Atlas集成、与DataHub集成、与Amundsen集成。
治理平台集成
16
实时数据成本治理
基于目录的存储成本分析、计算成本分析、成本优化建议。
成本优化
17
数据目录自动化运维
健康检查、自动修复、容量规划、告警管理。
运维自动化
18
数据目录与CI/CD集成
元数据变更流水线、自动化测试、部署策略。
CI/CDDevOps
19
数据目录多租户设计
租户隔离、资源配额、计费模型。
多租户设计
20
数据目录高可用设计
架构设计、容灾策略、数据一致性保障。
高可用容灾
21
数据目录性能优化
索引优化、缓存策略、查询优化、分片策略。
性能优化
22
数据目录与数据建模
维度建模、事实建模、数据目录辅助建模。
建模维度
23
数据目录与数据标准
标准定义、标准映射、标准校验。
标准规范
24
数据目录与数据服务
数据服务注册、服务发现、服务治理。
服务治理
25
数据目录与数据交换
数据交换协议、数据交换格式、数据交换监控。
交换协议
26
数据目录与数据备份
备份策略、备份恢复、备份验证。
备份恢复
27
数据目录与数据归档
归档策略、归档存储、归档检索。
归档存储
28
数据目录与数据销毁
销毁策略、销毁审批、销毁审计。
销毁合规
29
数据目录与数据合规
GDPR合规、等保合规、行业合规。
合规法律
30
数据目录未来趋势
AI驱动数据目录、主动元数据、数据网格与数据目录。
趋势AI